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以 人 为 中 心 的 技术 研究 已 经 成 为 信息 学 科 乃 至 科学 研究 的 重要 发 展 方向 之 一 。 人 工 智能 
学 科 以 其 独特 的 魅力 吸引 着 越 来 越 多 不 同学 科研 究 者 投入 其 中 ,广义 人 工 智能 、 人 工 生命 、 
人 工大 脑 、 人 工 情 感 、 人 工 免 疫 和 人 工 心理 等 多 和 








并 萌生 写作 本 书 的 想法 。 


人 工 心理 理论 是 利用 信息 科学 的 手段 ， 对 人 的 心 到 
意志 、 性 格 、 创 造 等 》 的 再 一 次 人 工 机 器 (计算 机 、 模 型 人 
心理 的 概念 以 来 ， 作 者 所 领导 的 课题 组 一 直 进 行 了 若干 探索 性 研究 ， 取 得 了 一 些 研究 进 
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带 给 我 们 的 挑战 是 要 求 研 究 者 要 具有 心理 














中 人 工科 学 的 到 











并 整理 汇集 到 本 书 之 中 ， 与 读者 共享 研究 成 果 。 

全 书 共 分 为 9 章 。 第 1 章 主要 介绍 人 工 心 班 

大 脑 的 基本 方法 及 其 前 沿 研究 ; 第 3 章 叙 述 了 人 工 情感 的 
介绍 了 人 脸 工学 的 研究 内 容 ; 第 5 章 对 人 类 行为 理解 的 图 像 处 到 
































E 论 方法 不 断 涌现 。 同 时 ， 
学 、 脑 科学 、 神 经 科学 、 信 息 科 学 等 多 学 科 知 
景 。 作 者 就 是 在 这 种 新 世纪 科学 技术 多 学 科 合作 交叉 研究 的 时 代 特 征 下 ， 进 行人 工 心理 研 








RH 
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活动 的 更 全 面 内 容 (尤其 是 情感 、 
算法 等 ) 实现 。 自 1998 年 提出 


E 的 基本 概念 与 研究 内 容 ; 第 2 章 介 绍 了 人 工 
基本 内 容 与 情感 计算 方法 ; 第 4 章 
E 技 术 作 以 介绍 ; 第 6 章 主要 


介绍 了 基于 人 工 心理 的 个 性 化 商品 导购 计算 机 信息 系统 ; 第 7 章 介绍 了 虚拟 人 技术 ， 主 要 是 
对 虚拟 人 的 认 知 心理 数字 化 技术 的 介绍 ; 第 8 BH 
第 9 章 展 望 了 人 工 心理 的 未 来 研究 。 

全 书 由 于 志良 执笔 统 稿 。 刘 欣 进行 了 全 稿 的 校正 和 修订 工作 。3 

















与 了 第 2 章 的 研究 工作 或 资料 整理 ; 








了 第 3 章 的 研究 工作 或 资料 整理 ; 











究 工 作 或 资料 整理 ; 韩 洪 哲 、 韩 患 涛 、 王 
婷 、 张 琴 参 与 了 第 6 章 的 研究 工作 或 资料 整理 
整理 ， 解 仑 、 张 雪 元 、 李 庆 恩 参与 了 第 8 章 的 研究 工作 或 资料 整理 。 
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pile 人 工 心 理 


在 《国家 中 长 期 科学 和 技术 发 展 规划 纲要 (2006 一 2020 年 )》 中 ， 指 出 了 信息 技术 将 继 
续 向 高 性 能 、 低 成 本 、 普 适 计算 和 智能 化 等 主要 方向 发 展 ， 寻 求 新 的 计算 与 处 理 方式 和 物理 
实现 是 未 来 信息 技术 领域 面临 的 重大 挑战 。 纳 米 科技 、 生 物 技术 与 认 知 科学 等 多 学 科 的 交叉 
融合 ， 将 促进 基于 生物 特征 的 、 以 网 像 和 自然 语言 理解 为 基础 的 “以 人 为 中 心 ”的 信息 技 
术 发 展 ， 作 为 信息 学 科 前 沿 技术 要 研究 个 性 化 的 智能 机 器 人 和 人 机 交互 系统 。 

在 国家 科技 发 展 纲要 中 如 此 描述 信息 技术 的 发 展 方向 ， 这 表明 新 世纪 科学 发 展 的 特征 是 
对 人 的 研究 、 对 人 与 自然 和 谐 相处 的 研究 ; 其 表现 是 纳米 -生物 -信息 - 认 知 (Nano-Bio-Info- 
Cognition, NBIC) 多 学 科 交 叉 、 多 技术 融合 研究 的 突起 ; 是 数字 人 (物理 机 器 人 与 虚拟 软 
件 人 的 总 称 ; 数字 人 与 数字 社会 的 关系 研究 ) 技术 的 趋 于 热门 化 和 普遍 化 。 

以 人 为 本 ， 以 人 与 自然 的 和 谐 相 处 为 研究 目标 ， 以 多 学 科 交 叉 结 合 为 研究 手段 ， 以 人 工 
科学 为 主要 研究 领域 ， 将 是 未 来 若干 年 科学 技术 研究 的 主要 特征 。 


1.1 NBIC 会 聚 技术 


2001 年 12 月 ， 美 国 国家 科学 基金 会 和 国家 科技 委员 会 纳米 科学 工程 与 技术 分 委 会 ， 在 
华盛顿 联合 发 起 了 一 次 由 科学 家 、 政 府 官员 等 各 界 顶 级 人 物 参加 的 圆桌 会 议 ， 会 议 就 “ 提 
升 人 类 技能 的 会 聚 技术 ”议题 进行 研讨 ， 首 次 提出 了 “NBIC 会 聚 技术 ”的 概念 。NBIC 会 
聚 技术 是 指 当前 四 个 迅速 发 展 的 科学 技术 领域 的 协同 和 融合 。 这 四 个 领域 分 别 是 : 纳米 技 
术 、 生 物 科 学 (包括 生物 制药 及 基因 工程 )、 信 息 技术 (包括 先进 计算 机 与 通信 ) 和 认 知 科 
学 (包括 认 知 神经 科学 ) ， 如 图 1-1 所 示 。 与 会 专家 认为 :当前 ,以 上 四 个 领域 的 技术 都 在 迅 










































































速 发 展 ， 每 一 个 领域 都 潜力 巨大 ， 其 中 任 纳米 技术 
何 技术 的 两 两 或 交叉 融合 、 会 聚 或 者 集 FE 









































成 ， 都 将 产生 难以 估量 的 影响 。 “NBIC ~ 

会 聚 技术 ”代表 着 研究 与 开发 新 的 前 沿 yyy | NIC ower 
领域 ， 其 发 展 将 显著 改善 人 类 生命 质量 ， 

提升 和 扩展 人 的 技能 ， 这 四 大 前 沿 技术 的 ~ 

融合 还 将 缔造 全 新 的 研究 思路 和 全 新 的 经 pf 

济 模式 ， 将 大 大 提高 整个 社会 的 创新 能 RS 

和 国家 的 生产 力 水 平 ， 从 而 增强 国家 的 欧 图 1-1 NBIC 会 聚 技术 








争 力 ， 也 将 对 国家 安全 提供 更 强 有 力 的 保 
障 。 从 NBIC 会 聚 技 术 概念 的 提出 到 现在 ，16 年 过 去 了 。 这 此 期 间 ，NBIC 技术 可 谓 “ 一 日 
于 里 ”， 它 所 昭示 的 技术 范式 变革 在 各 方面 都 正在 成 为 现实 。 

NBIC 这 四 门 科学 技术 其 实 本 身 已 经 是 交叉 学 科 ， 例 如 认 知 科学 是 研究 人 类 感知 和 思维 
信息 处 理 过 程 的 科学 ， 包 括 从 感觉 的 输入 到 复杂 问题 求解 ， 从 人 类 个 体 到 人 类 社会 的 智能 活 
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BY, URAR AHEAD ERE, EROS ATE Aloe. A. II. HERR Tae 
解 、 注 意 、 情 感 和 统称 为 意识 的 高 级 心理 现象 。 它 涉及 生物 学 、 心 理学 、 细 胞 学 、 脑 科学 、 
遗传 学 、 神 经 科学 、 语 言 学、 逻辑 学 、 信 息 科 学 、 人 工 智 能 、 数 学 、 人 类 学 等 多 个 领域 ， 是 
多 学 科 交 叉 研究 发 展 的 领域 ， 也 是 当今 最 活跃 的 研究 领域 之 一 。 

在 美国 国家 科学 基金 会 主持 编写 的 《提升 人 类 能 力 的 会 聚 技术 》 报 告 中 这 样 提 到 : 纳 
米 、 生 物 、 信 息 、 认 知 四 大 科学 技术 具有 以 下 互补 关系 : “如果 认 知 科学 家 能 够 想到 它 ， 纳 
米 科学 家 就 能 够 制造 它 ， 生 物 科学 家 就 能 够 使 用 它 ， 信 息 科 学 家 就 能 够 监视 和 控制 它 。” 

会 聚 技术 为 未 来 的 发 展 提供 了 巨大 的 机 遇 ， 第 一 次 使 人 类 能 够 将 自然 界 、 人 类 社会 和 科 
学 研究 理解 为 儿 个 紧密 相连 的 复杂 而 又 层次 分 明 的 系统 ， 在 技术 成 就 不 断 演进 的 同时 ， 通 过 
技术 整合 进而 提高 人 类 能 力 。 

NBIC 会 聚 技术 给 人 类 描绘 了 这 样 一 个 前 景 : 基于 会 聚 技术 的 认识 和 应 用 ， 人 类 大 脑 的 潜 
力 将 被 激发 出 来 ， 人 的 悟性 、 效 率 、 创 造 性 及 准确 性 将 大 大 提高 ， 人 体 及 感官 对 外 界 的 突然 变 
化 ， 如 事故 、 疾 病 等 的 感知 能 力 变 得 敏感 ， 人 类 将 可 以 以 原子 或 分 子 为 起 点 来 诊断 和 修复 自生 
与 世界 ， 帮 助 老龄 人 群 普遍 改善 体能 与 认 知 功能 的 衰退 ， 人 与 人 之 间 产 生 包 括 脑 与 脑 交 流 在 内 
的 高 效 通 信 手 段 ， 社 会 群体 有 效 地 改善 合作 效能 ， 社 会 大 幅度 减少 资源 与 能 源 的 消耗 ， 降 低 对 
生态 环境 的 破坏 与 污染 。 总 之 ， 人 类 将 在 纳米 的 物质 层 重 新 认识 和 改造 世界 及 人 类 自身 。 

“NBIC 会 聚 技术 ”的 发 起 者 曾经 达成 了 这 样 一 个 共识 一 一 最 重要 的 是 要 通过 纳米 技术 、 
生物 科学 、 信 息 技术 、 认 知 科学 的 融合 发 展 ， 推 翻 学 科 之 间 的 研究 和 发 展 壁垒 ， 使 得 四 门 技 
术 在 融合 发 展 中 进发 出 足够 的 潜力 。 

NBIC (纳米 技术 、 生 物 科 学 、 信 息 技术 和 认 知 科学 ) 包含 人 类 性 能 增强 技术 的 三 大 领 
域 : 治疗 学 (Therapeutic) 、 增 强 (Augmentation) 技术 和 计划 演进 (Designed Evolution) 。 

1. 治疗 学 

治疗 学 是 指 为 残疾 人 和 人 体 机 能 障碍 患者 恢复 其 正常 人 体 机 能 的 人 类 性 能 增强 技术 。 它 
的 治疗 领域 主要 包括 由 于 疾病 、 先 天 缺陷 或 意外 事故 引起 的 残疾 或 机 能 缺陷 。 这 个 领域 已 经 
出 现 并 且 会 通过 纳米 技术 、 生 物 科 学 、 信 息 技术 和 认 知 科学 的 发 展 促进 其 发 展 。 

治疗 增强 的 例子 包括 恢复 视力 ， 恢 复 听 力 ， 修 复 肢体 ， 遗 传 疫苗 ， 低 压 处 理 ， 专 业 化 医 
疗 ， 器 官 繁殖 ， 记 忆 恢 复 ， 灵 活性 恢复 。 

2. 增强 技术 

增强 技术 是 指 提 升 到 超人 水 平 的 人 类 性 能 增强 技术 。 任 何 一 个 在 人 体 性 能 增强 中 需要 治 
疗 的 人 同样 也 需要 增强 技术 。 人 们 在 认 知 、 身 体 和 其 他 方面 能 力 的 增强 都 会 使 自身 职业 、 年 
龄 和 兴趣 不 同 而 产生 的 个 性 化 程度 更 强 。 

例如 ， 强 化 记忆 (完全 重新 唤起 ) ， 红 外 夜 视 (安全 作业 工人 ) ， 扩 大 听觉 范围 ， 视 力 
范围 的 延伸 ， 专 业 化 工具 的 改进 和 对 信息 传递 和 控制 的 研究 EE, TEM), HR ARCA 
通信 系统 (知识 分 子 ) ， 高 速度 机 械 结构 (运动 员 ) ， 适 时 力量 增强 ， 预 防 科 学 和 遗传 健康 
改进 ， 多 任务 感知 (项 目 管理 者 ) ， 个 人 遗传 最 优化 分 析 ， 视 觉 认 知 的 大 容量 存储 〈 交 易 代 
理 商 ) ， 实 时 视觉 和 语音 数据 的 采集 ， 探 寻 和 发 现 ， 合 成 认 知 接 人 端口 (直接 网 络 链接 )， 
触觉 虚拟 通信 接口 技术 ( 同 声 传译 ) 。 

3. 计划 演进 

计划 演进 是 指 人 们 在 受精 以 前 和 出 生 后 可 以 选择 进行 体外 实验 的 人 类 增强 技术 ， 包 括 按 
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照 伦 理 和 科学 方法 选择 的 作为 个 体 和 作为 群体 的 人 类 基因 组 。 计 划 演 进 主要 包括 体外 实验 引 
起 的 记忆 力 、 智 力 、 速 度 、 灵 活性 及 某 种 行为 和 身体 特质 的 加 强 。 

应 用 的 最 大 领域 就 是 体外 实验 中 对 不 明基 因 的 鉴定 ， 这 些 不 明基 因 很 有 可 能 成 为 造成 
能 障碍 和 引起 癌症 以 及 酒精 中 毒 的 初级 粒子 。 

例如 ,增加 寿命 ， 最 优化 免疫 防护 ， 人 与 机 械 的 同步 进化 ， 数 位 管理 个 性 特征 ， 克 隆 
人 ,抑制 恶化 的 反 萎 缩 肌体 ， 自 我 补给 的 骨骼 ， 适 时 搜寻 和 消灭 细胞 内 疾病 的 清道 夫 。 

这 些 情况 和 设想 对 于 规划 未 来 发 展 的 进程 是 完全 可 能 的 。 思 科 公 司 的 路 由 絮 是 以 中 枢 网 
络 的 形式 运行 ， 它 有 自己 的 语言 而 不 同 于 人 类 的 语言 。 摩 托 罗 拉 公 司 采用 数字 DNA 的 形式 
交流 ，IBM 的 Waston 是 采用 认 知 计算 系统 的 商业 人 工 智能 代表 ， 它 让 世界 正 变 得 更 健康 、 
更 安全 、 更 个 性 、 更 富有 创造 力 。Waston 的 智能 每 天 都 在 进步 ， 认 知 也 在 持续 发 展 ， 它 正 
在 改变 整个 世界 的 工作 、 决 策 、 创 新 、 学 习 和 思考 方式 。 近 日 ， 来 自 加 州 大 学 尔 湾 分 校 的 研 
究 人 员 通 过 大 规模 、 多 任务 课 度 学 习 网 络 进行 “目标 ”基因 表达 谱 预测 ， 并 在 预测 精度 上 
获得 了 显著 提升 ， 日 前 ， 所 有 的 基因 发 现 已 经 在 开业 优化 应 用 。 事 实 上 ， 生 物 信息 技术 已 
经 成 为 无 硅 效应 代替 传统 实验 方式 的 新 模式 。 这 项 工作 证 实 了 NBIC 模式 的 兴起 

人 们 需要 新 的 科学 探索 模式 去 揭 开 与 现实 生活 密 不 可 分 的 奥秘 。 人 们 对 大 脑 和 认 知 科学 
知之 甚 少 ， 而 这 两 项 内 容 又 对 人 们 了 解 宇宙 至 关 重 要 。 医 生 对 个 体 基因 交互 作用 缺乏 深刻 的 
了 解 ， 所 以 只 能 在 分 子 层 面 上 治疗 疾病 。 

在 不 久之 前 ， 科 学 家 才 开始 还 开 解 冤 人 类 基因 密码 的 第 一 步 ， 人 们 仍然 一 知 半 解 地 称 之 
为 DNA。 也 许 需 要 新 的 模式 去 加 速 地 发 现 。 这 也 就 是 NBIC 会 聚 技术 如 此 令 人 感 兴趣 的 原因 
不 是 为 了 它 会 揭 开 今天 的 秘密 ， 而 是 为 了 它 会 在 未 来 创造 发 现 新 模式 。 
人 们 需要 创造 男 外 一 种 解放 思维 、 开 发 策略 、 解 决 问题 的 方式 ， 来 形成 解决 方案 。 总 会 
有 一 天 ， 造 成 艾滋 病 、 心 血管 疾病 和 瘤 症 盛行 的 秘密 会 用 诸如 NBIC 系统 方法 加 以 解决 。 在 
人 们 前 进 的 过 程 中 ， 需 要 对 社会 责任 和 个 人 民主 权利 保持 同样 密切 的 关注 ， 不 允许 NBIC 会 
聚 技 术 和 人 类 性 能 增强 技术 被 低级 的 趣味 所 天 污 ， 也 不 允许 那些 滥用 技术 和 压迫 个 人 的 公司 
和 企业 将 其 破坏 。 人 类 性 能 增强 技术 应 该 是 在 政府 保护 下 的 个 人 自由 选择 ， 而 不 能 受 他 人 文 
配 ， 它 也 不 是 进行 压迫 或 对 自由 选择 进行 攻击 的 工具 。 不 是 所 有 的 文化 都 会 接受 这 样 的 观 
念 ,但 是 科学 和 社会 的 价值 观念 需要 人 们 通过 赞赏 和 敬意 的 眼光 去 展望 未 来 。 

NBIC 会 聚 技术 并 不 会 使 人 类 一 劳 永 逸 。 这 说 明了 更 大 的 效率 会 产生 于 思考 新 的 通 向 科 
学 的 系统 模式 之 中 。NBIC 会 聚 技术 所 提供 的 创新 、 策 略 和 解决 方案 的 整合 系统 将 成 为 人 类 
性 能 增强 技术 的 催化 剂 。 

NBIC 会 聚 技术 会 给 我 们 指出 通 往 更 加 美好 未 来 的 路 ， 在 这 条 路 上 ， 通 过 个 体 的 自由 选 
择 ， 人 类 将 获得 更 大 的 生产 力 和 更 高 质量 的 生活 。 


1.2 ”数字 人 技术 


在 NBIC 会 聚 技术 中 ， 认 知 科学 与 信息 技术 、 生 物 科 学 的 融合 就 是 数字 人 (Digital Hu- 
man) 技术 ; 数字 人 是 物理 机 顺 人 与 虚拟 软件 人 的 总 称 。 

数字 人 技术 的 研究 分 为 三 个 层次 : 数字 人 的 生理 结构 ;数字 人 的 心理 与 认 知 结构 ， 数字 
人 的 运动 结构 。 图 1-2 所 示 为 数字 人 的 生理 层次 研究 内 容 ， 其 中 图 a 为 数字 带 官 ， 图 b 为 数 
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字 头 部 。 

数字 人 与 数字 社会 的 关系 研究 成 为 数字 人 技术 的 前 沿 问题 ， 和 谐 人 机 交互 正在 成 为 信息 
技术 研究 的 重要 领域 。 数 字 人 技术 越 来 越 成 为 社会 发 展 需 要 的 技术 之 一 。 在 《国家 中 长 期 
科学 和 技术 发 展 规划 纲要 (2006 一 2020 年 )》 中 ， 指 出 了 作为 信息 学 科 前 沿 技术 要 研究 个 性 
化 的 智能 机 器 人 和 人 机 交互 系统 。 作 为 制造 业 前 沿 技术 要 研究 智能 服务 机 器 人 (智能 服务 
机 器 人 是 在 非 结 构 环 境 下 ， 为 人 类 提供 必要 服务 的 多 种 高 技术 集成 的 智能 化 装备 。 以 服务 机 
器 人 和 和 危险 作业 机 器 人 应 用 需求 为 重点 ， 研 究 设计 方法 、 制 造 工 艺 、 智 能 控制 和 应 用 系统 集 
成 等 共性 基础 技术 ) 。 图 1-3 所 示 为 美国 麻 省 理工 学 院 ( Massachusettes Institute of Technolo- 
gy，MIT) 研制 的 社会 机 器 人 与 情感 数字 人 。 






































图 1-2 数字 人 的 生理 层次 研究 内 容 
a) 数字 器 官 b) 数字 头 部 











a) b) 


图 1-3 社会 机 器 人 与 情感 数字 人 
a) 社会 机 器 人 一 一 机 器 小 精灵 b) 情感 虚拟 数字 人 


进入 21 世纪 (2001 €), 日 本 国家 工业 研究 院 开展 了 “数字 人 技术 ”国家 层面 攻关 研 
究 计 划 。 其 目的 是 从 心理 认 知 、 运 动 行为 和 生理 状态 三 个 层次 面 上 研究 人 类 ， 在 这 个 基础 上 
研究 开发 拟人 系统 和 为 人 类 服务 的 技术 。 

这 个 研究 计划 的 内 容 是 : 

1， 认 知 理解 人 类 的 技术 
研究 以 构造 人 类 模型 的 人 类 机 能 为 基础 ， 建 立 将 所 有 功能 集成 化 、 模 型 化 的 软件 平台 ， 
特别 是 开展 将 人 类 的 心理 、 认 知 功 能 模型 化 的 探索 性 研究 。 图 14 所 示 为 进行 理解 人 类 行 》 











的 模拟 驾驶 行为 的 虚拟 平台 。 
2. 与 人 类 相伴 的 技术 


在 房间 和 环境 周边 安装 大 量 的 测 人 传感器 ， 检 测 感知 人 类 的 状态 、 行 为 ; 根据 此 状态 和 
行为 为 人 类 提供 相应 的 服务 。 主 要 研究 测 人 传 感 需 技术 和 人 类 行为 数字 化 技术 。 





3. 以 人 类 为 本 (匹配) 的 设计 
技术 

研究 衣服 、 眼 镜 、 相 机 、 汽 车 等 
人 类 使 用 产品 制造 的 易 使 用 、 易 理解 
的 设计 方法 ， 研 究 计 测 人 体 和 动作 技 
术 和 在 计算 机 上 虚拟 再 现 模 拟 使 用 产 
品 时 人 的 感受 的 技术 ， 如 图 1-5 所 
示 。 

4. 人 类 支援 技术 

研究 支持 人 类 生活 和 行动 的 技术 
和 类 人 机 器 人 技术 ; 特别 要 研究 声音 
提示 技术 ; 重点 研究 既 能 够 检测 和 识 
别人 ， 又 能 够 稳定 高 速 步行 的 双 足 个 
人 机 器 人 技术 。 图 1-6 所 示 为 进行 家 
庭 服务 的 人 类 支援 机 器 人 。 

另外 ,正在 开展 的 研究 项 目 还 有 
基于 三 维 (3D) 人 脸 的 合适 匹配 眼镜 
的 开发 ;基于 现代 女性 平均 3D 人 体 
的 服装 人 体 的 开发 等 ,如 图 1-7 所 示 。 

图 1-8 所 示 为 日 本 研究 的 家 用 机 
器 人 与 个 人 机 器 人 。 个 人 机 器 人 (P- 
Robot) 、 家 庭 服务 机 器 人 和 情感 机 器 
人 正在 成 为 发 达 国 家 机 器 人 研究 的 尖 
端 技 术 ; 虚拟 软件 人 正在 成 为 基于 网 
络 的 信息 服务 系统 和 智能 用 户 界 面 的 
MER, 其 中 ， 人 工 情 绪 、 认 知 - 
情绪 -意识 的 关系 问题 正在 成 为 数字 
人 技术 的 重要 基础 理论 问题 。 

这 里 ， 我 们 可 以 看 到 ， 日 本 已 经 
把 引 以 为 豪 的 机 器 人 技术 引申 为 数字 
人 技术 。 

信息 科学 技术 发 展 的 重要 目标 是 
数字 化 社会 (环境 + 人 )。 和 谐 的 信 
息 社 会 必须 包括 数字 化 地 球 和 数字 化 























人 类 两 个 层次 的 研究 ， 否 则 就 不 是 和 谐 、 








图 14 模拟 驾驶 行为 的 虚拟 平台 








图 1-5 以 人 为 本 的 设计 技术 





a — 


图 1-6 人 类 支援 机 器 人 


文明 的 数字 化 社会 。 





a) b) 
Al 1-7 基于 3D 的 匹配 眼镜 和 服装 人 体 
a) 基于 3D 人 脸 的 合适 匹配 眼镜 
b) 基于 现代 女性 平均 3D 人 体 的 服装 人 体 























图 1-8 家 用 机 器 人 与 个 人 机 器 人 

















数字 人 技术 是 数字 上 自然 环境 (数字 地 球 、 数 字 中 国 、 数 字 北 京 ) 技术 的 延伸 ， 是 NBIC 
会 聚 技术 的 具体 体现 ， 是 21 世纪 信息 科学 前 治 技术 发 展 的 必然 。 

数字 人 技术 的 研究 领域 主要 包括 两 个 方面 : 

1) 虚拟 人 技术 (网络 环境 + 多 媒体 技术 ); 

2) 机 器 人 技术 (个 人 机 器 人 技术 ; 服务 机 器 人 技术 ) 。 

数字 人 的 研究 内 容 : 

1) 人 体 生 理 的 数字 化 (FREE 973 计划 研究 侧重 于 医学 与 生理 层次 ) ; 

2) 人 类 心理 的 数字 化 〈 认 知 与 心理 层次 ) ; 

3) 人 类 行为 的 数字 化 (运动 /机 械 层次 ); 

4) 和 谐 人 机 交互 技术 与 个 人 机 器 人 技术 。 

数字 人 的 应 用 领域 : 

1) 具有 智能 和 情感 能 力 的 虚拟 志愿 者 ; 

2) 基于 图 像 智能 监控 的 安全 保卫 系统 ; 

3) 数字 家 庭 中 的 个 人 服务 机 名 人 ; 

4) 老龄 化 社会 的 人 性 化 养老 服务 事业 。 














1.3 人 工 心理 相关 研究 


作为 NBIC 会 聚 技术 分 支 之 一 ; 数字 人 技术 和 拟人 系统 的 一 个 主要 科学 问题 和 支撑 技 
术 ， 需 要 研究 人 工 心理 ( 人工 智能 、 情 感 和 意识 的 统一 作用 ) 问题 、 人 工 情绪 与 认 知 的 关 
系 问题 。 

在 信息 科学 领域 ， 大 家 一 直 把 模仿 人 、 模 仿 人 脑 、 模 仿 人 的 智能 、 模 仿 人 的 行为 作为 重 
要 的 研究 方向 和 内 容 。 回 顾 上 自动化 科学 和 技术 的 发 展 历史 ， 更 会 感到 人 们 是 把 脑 科 学 、 心 理 
学 、 神 经 科学 作为 神经 机 械 学 〈 拟 人 控制 ) 、 自 控 理 论 的 源 果 ， 来 研究 控制 策略 和 算法 的 。 
我 们 也 是 沿 着 这 条 路 子 ， 从 心理 学 以 及 相关 领域 的 学 习 研 究 出 发 ， 来 探索 、 研 究 并 试图 开辟 
智能 学 科 以 及 信息 科学 的 新 领域 。 

众所周知 ， 经 过 几 十 年 的 研究 ， 人 工 智 能 的 研究 已 经 达到 了 很 高 的 水 平 。 然 而 ， 它 的 研 
究 目的 只 是 在 于 模拟 人 的 智能 ， 如 判断 、 推 理 、 证 明 、 识 别 、 感 知 、 理 解 、 设 计 、 思 考 、 规 
划 、 学 习 和 问题 求解 等 思维 活动 。 研 究 内 容 是 怎样 表示 知识 、 获 得 知识 并 使 用 知识 。 这 在 拟 
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人 化 的 研究 领域 还 只 是 很 初步 的 阶段 。 因 为 人 的 心理 活动 包括 感觉 、 知 觉 、 记 忆 、 思 维 、 情 
感 、 意 志 、 人 性 格 、 创 造 等 方面 。 而 人 工 智 能 仅仅 研究 了 感觉 、 知 觉 、 记 忆 、 思 维 等 心理 活 
动 ， 对 于 情感 、 意 志 、 人 性 格 、 创 造 等 心理 活动 根本 不 涉及 ， 这 显然 是 不 够 的 。 因 此 ， 利 用 人 
工 智能 已 有 的 基础 (研究 成 果 、 研 究 方 法 ) ， 结 合 心理 学 、 脑 科学 、 神 经 科学 、 信 息 科学 、 
计算 机 科学 、 自 动 化 科学 的 新 理论 和 新 方法 , 对 人 的 心理 活动 (尤其 是 情感 、 意 志 、 人 性 格 、 
创造 等 ) 全 面 进行 人 工 机 器 模拟 ， 这 正 是 我 们 研究 人 工 心 理 理 论 的 基础 和 目的 所 在 。 

1 人工 心 理学 

人 工 心理 理论 就 是 利用 信息 科学 的 手段 ， 对 人 的 心理 活动 更 全 面 内 容 的 再 一 次 人 工 机 器 
(计算 机 、 模 型 算法 等 ) 实现 。 它 的 应 用 前 景 是 非常 广泛 的 ， 如 支持 开发 有 情感 、 意 识 和 智 
能 的 机 器 人 ; 真正 意义 上 的 拟人 机 械 研究 ; 使 控制 理论 更 接近 于 人 脑 的 控制 模式 。 我 们 知 
道 , 已 有 的 拟人 控制 理论 主要 就 是 维 纳 的 “反馈 ”控制 论 和 人 工 智能 ， 这 与 人 脑 的 控制 模 
式 还 有 很 大 差别 ， 因 为 人 脑 控制 模式 是 : 感觉 、 知 觉 + 人 情感 决定 行为 ， 而 现 有 的 控制 系统 决 
策 不 考虑 也 无 法 考虑 情感 的 因素 。 人 工 心理 应 用 的 另 一 大 领域 是 符合 人 性 化 的 商品 设计 和 市 
场 开发 。 毫 不 夸张 地 说 ， 人 工 心理 理论 是 人 工 智能 的 高 级 阶段 ， 是 自动 化 乃至 信息 科学 的 全 
新 研究 领域 。 它 的 研究 将 会 大 大 促进 拟人 控制 理论 、 情 感 机 器 人 、 人 性 化 的 商品 设计 和 市 场 
开发 等 方面 的 进展 ， 为 最 终 营造 一 个 人 与 人 、 人 与 机 器 和 谐 的 社会 环境 做 出 贡献 。 

虽然 没有 人 提出 人 工 心理 的 概念 ， 但 近 几 年 对 它 的 相关 技术 研究 却 正在 形成 一 种 趋势 ， 
尤其 以 日 本 最 为 先进 。 自 1990 年 以 来 ,在 日 本 科学 技术 界 流 行 “感性 工学 (Kansei Engi- 
neering)” 的 新 术语 。 按 照 日 本 人 的 解释 ， 感 性 工学 是 研究 情感 、 感 党 、 知 觉 、 记 忆 和 思维 
的 总 称 。 为 了 保持 21 世纪 在 信息 技术 领域 的 领先 地 位 ， 在 日 本 通 产 省 和 文部 省 的 重点 支持 
下 ， 由 日 本 通 产 省 工业 技术 院 牵 头 ， 组 织 各 方面 的 专家 ， 以 “人 类 媒体 (Human Media)” 
为 总 题目 ， 自 1994 ~ 1995 年 进行 了 两 年 时 间 的 调研 工作 ，1996 年 开始 研究 ， 现 在 已 经 取得 
了 一 些 成 果 。 这 在 1997 年 名 古 屋 召开 的 国际 人 工 智能 大 会 和 1998 年 度 日 本 的 电子 信息 类 学 
术 刊 物 上 面 有 所 反映 。 由 于 这 是 一 个 新 领域 , 日 本 所 取得 的 成 果 都 是 初步 的 ， 有 许多 问题 急 
待 解决 。 比 如 ,日 本 提出 的 “感性 工学 ”的 定义 不 清楚 ( 现 有 十 多 种 定义 )， 其 研究 范围 只 
是 对 准 人 类 心理 活动 的 一 个 方面 一 一 感性 ， 所 以 我 们 提出 人 工 心理 的 大 概念 ， 日 的 是 创立 具 
有 普遍 意义 的 用 机 器 模拟 人 类 心理 活动 的 人 工 心理 学 。 近 年 来 ， 美 国人 对 脑 科 学 的 研究 非常 
重视 ，1989 年 美国 参 众 两 院 通 过 立法 ,把 1990 年 1 月 1 日 开始 的 十 年 确定 为 “ 脑 的 十 年 ”。 
这 标志 着 脑 科学 开始 了 一 个 莲 寺 发 展 的 时 期 ， 也 取得 了 不 少 成 果 。 人 类 的 感觉 、 运 动 、 学 习 
和 记忆 、 思 维 、 情 感 和 行为 等 都 是 脑 的 功能 ， 也 就 是 说 ， 人 的 心理 是 人 脑 的 机 能 。 心 理 是 客 
观 现实 在 人 脑 中 的 反映 ， 脑 科学 是 心理 学 的 自然 科学 基础 ， 心 理学 家 必须 熟 习 脑 结构 和 机 能 
问题 。 人 工 心理 学 研究 者 必须 将 脑 科 学 和 心理 学 作为 主要 的 理论 基础 。 我 国 在 这 方面 的 研究 
几乎 是 空白 ， 因 为 在 人 工 智 能 领域 ,用 机 器 模拟 人 的 情感 是 一 个 “禁区 ”。 但 我 们 已 经 认识 
到 ， 用 计算 机 模拟 人 的 情感 是 信息 科学 领域 的 前 沿 技 术 ， 这 在 “1999 年 度 (中 国 ) 国家 高 
技术 研究 发 展 计划 纲要 新 概念 新 构思 课题 重点 项 目 指 南 中 的 : 信息 技术 一 一 和 谐 人 机 环境 中 
的 情感 计算 理论 研究 ”得 到 体现 。 可 以 说 ， 提 出 人 工 心理 的 概念 ， 只 是 顺应 了 这 一 前 沿 学 
科 的 学 术 研 究 趋 势 ， 也 是 迫不及待 的 ; 同时 又 是 力图 使 中 国 在 拟人 理论 和 人 工 智能 领域 占有 
一 席 地 位 。 

综 上 所 述 ， 人 工 心理 理论 研究 具有 前 沿 科学 的 特征 ， 既 有 重大 的 理论 意义 ， 也 有 着 很 广 
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泛 的 应 用 前 景 。 

2. 人 工 心理 学 的 基本 问题 

我 们 知道 ， 心 理学 是 研究 心理 现象 的 发 生 、 发 展 及 其 活动 规律 的 一 门 基础 科学 。 心 理 是 
各 人 的 思想 、 感 情 等 内 心 活动 ， 是 感 党 、 知 觉 、 记 忆 、 思 维 、 情 感 、 和 意志、 性格、 创造 等 的 
总 称 ， 是 人 的 头脑 对 客观 现实 的 反映 过 程 。 

按照 心理 学 的 定义 ， 心 理学 是 研究 人 的 心理 现象 (或 称心 理 活 动 ) 发 生 、 发 展 规律 的 
科学 ， 具 体 研究 心理 过 程 发 生 、 发 展 的 规律 性 ; 研究 个 性 心理 形成 和 发 展 的 过 程 ;研究 心理 
过 程 与 个 性 心理 相互 关系 的 规律 性 的 科学 。 人 的 心理 活动 包括 紧密 联系 的 两 个 方面 : 心理 过 
程 和 个 性 心理 。 心 理 过 程 包括 认识 过 程 、 情 绪 情 感 过 程 和 意志 过 程 三 个 方面 。 个 性 心理 
(简称 个 性 ) 包括 个 性 心理 倾向 性 (简称 个 性 倾向 性 ) 和 个 性 心理 特征 两 个 方面 。 心 理学 的 
人 研究 内 容 如 图 1-9 所 示 。 

应 该 着 重 指出 的 是 ， 心 理学 一 直 作 为 人 工 智能 学 科 的 理论 源 打 与 方法 基础 ， 被 信息 学 科 
的 研究 人 员 所 重视 。 人 工 智能 是 关于 知识 的 科学 ， 它 研究 的 是 知性 一 一 理性 知识 ， 即 心理 活 
动 的 高 级 过 程 (感觉 、 知 觉 、 记 忆 、 思 维 )， 经 常 使 用 名 词 、 动 词 来 描述 ， 是 较为 清晰 的 。 
人 工 心理 研究 的 是 情感 、 意 志 、 性 格 、 创 造 等 心理 活动 (日 本 的 感性 工学 着 重 研 究 情 感 ) ， 
包括 低级 心理 活动 ， 经 常 使 用 形容 词 、 副 词 来 描述 ， 更 多 的 是 心理 的 模糊 性 ， 人 工 智能 和 人 
工 心理 的 关系 如 图 1-10 所 示 。 人 工 心理 是 人 工 智 能 的 扩展 研究 和 高 级 阶段 ， 是 以 人 工 智 能 
为 基础 的 ， 并 有 着 更 广泛 的 内 容 。 两 者 是 相辅相成 、 互 相关 联 的 。 
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图 1-9 心理 学 的 研究 内 容 图 1-10 人工 智能 和 人 工 心理 的 关系 


由 图 1-10 可 知 ， 人 工 心 理 的 概念 ， 它 不 是 心理 学 领域 里 的 工程 心理 学 (或 称心 理 技术 
学 ) ， 也 不 是 日 本 提出 的 “感性 工学 ”"， 又 不 同 于 “1999 年 度 (中 国 ) 国家 高 技术 研究 发 展 
计划 纲要 新 概念 新 构思 课题 重点 项 目 指南 中 的 : 信息 技术 一 一 和 谐 人 机 环境 中 的 情感 计算 理 
论 研 究 ”， 与 它们 相 比 ， 人 工 心理 学 有 着 新 的 含义 和 更 广泛 的 内 容 。 遵 循 着 这 个 新 概念 ， 本 
书 试图 研究 建立 人 工 心 理 的 理论 结构 体系 (目的 、 法 则 、 研 究 内 容 、 应 用 范围 、 研 究 方法 
等 ) ， 并 使 之 得 到 应 用 ， 使 人 工 智能 的 研究 走向 更 深 、 更 高 层次 ， 开 辟 自 动 化 学 科 乃 至 信息 
科学 的 研究 新 领域 。 

人 工 心理 学 是 一 门 交 又 学 科 ， 如 图 1-11 所 示 。 其 理论 根源 来 自 脑 科学 、 心 理学 、 生 理 
学 、 伦 理学 、 神 经 科学 、 人 类 工学 、 感 性 工学 、 语 言 学 、 美 学 、 法 律 、 信 息 科学 、 计 算 机 科 
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学 、 自 动 化 科学 、 人 工 智能 ; 它 的 应 用 范围 主要 是 情感 机 器 人 的 技术 支持 、 拟 人 机 械 、 人 性 
化 商品 设计 、 感 性 市 场 开发 、 人 工 心理 编程 语言 、 人 工 创造 技术 、 人 类 情感 评价 计算 机 系统 
(虚拟 技术 ) 、 人 类 心理 数据 库 及 数学 模型 、 人 际 和 谐 环 境 技术 和 人 机 和 谐 多 通道 接口 等 。 














脑 心 生 伦 神 人 感 语 美 法 信 计 自 人 
AL EA KR eH A SRR HR JIE 
学 学 学 学 科 工 工学 A 机 化 E 
学 学 学 学 科 科 能 
学 学 

图 1-11 人工 心理 一 一 一 门 交叉 研究 的 学 科 








下 面 来 谈 谈 人 工 心理 的 理论 结构 (定义 、 目 的 、 法 则 、 研 究 内 容 、 应 用 范围 、 研 究 方 
法 等 ) 。 

(1) 定义 ”人工 心理 理论 就 是 利用 信息 科学 的 手段 ， 对 人 的 心理 活动 (着 重 是 人 的 情 
感 、 意 志 、 人 性 格 、 创 造 ) 的 更 全 面 内 容 的 再 一 次 人 工 机 器 (计算 机 、 模 型 算法 等 ) 实现 。 

(2) 目的 ”营建 人 与 机 器 和 谐 、 人 与 人 和 谐 、 人 与 自然 和 谐 ， 大 家 幸福 的 社会 环境 。 

(3) 法 则 

1) 积极 向 上 地 模拟 人 的 心理 ; 

2) 道德 感 、 美 感 和 幸福 感 是 人 工 心理 学 的 根本 法 则 ; 

3) 创造 性 和 主观 能 动 性 地 模拟 人 的 心理 ; 

4) (AT) 机 器 永远 服从 (自然) 人。 

(4) 研究 目标 ”提出 人 工 心 理 的 概念 ， 利 用 人 工 知 能 已 有 的 基础 (研究 成 果 、 研 究 方 
法 ) ， 结 合 心理 学 、 脑 科学 、 神 经 科学 、 信 息 科 学 、 计 算 机 科学 、 自 动 化 科学 的 新 理论 和 新 
方法 ， 对 人 的 心理 活动 (尤其 是 情感 、 意 志 、 人 性 格 、 创 造 等 ) 全 面 进行 人 工 机 器 模拟 。 研 
究 确 立 人 工 心理 的 理论 结构 体系 (目的 、 法 则 、 研 究 内 容 、 应 用 范围 、 研 究 方 法 等 )， 并 使 
之 得 到 应 用 。 

3. 人工 心理 学 的 研究 内 容 与 研究 方法 

(1) 研究 内 容 

1) 研究 建立 人 工 心理 的 理论 结构 体系 (目的 、 法 则 、 研 究 内 容 、 应 用 范围 、 研 究 方 法 
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等 ) 。 尤 其 是 人 工 心理 学 说 的 定义 、 研 究 规则 、 研 究 内 容 的 界定 问题 ， 主 要 使 之 研究 符合 
类 道德 规范 ， 这 个 问题 在 人 工 智能 领域 是 不 存在 的 。 

2) 研究 人 工 心理 与 人 工 智 能 的 相互 关系 ， 如 何 使 两 者 相辅相成 、 互 相 促 进 、 共 同 发 
展 。 尤 其 是 借鉴 人 工 智能 已 有 的 研究 成 果 ， 建 立 人 工 心理 的 理论 体系 。 

3) 抑制 不 良 情 绪 的 机 器 算法 ， 这 是 由 其 研究 法 则 所 决定 的 。 

4) 人 类 心理 信息 的 数学 量化 (心理 模型 建立 、 心 理 状态 评价 标准 )。 在 这 个 方面 , 日 
本 已 经 做 了 不 少 工作 ,我 国 的 学 者 也 做 了 一 些 工 作 ， 如 已 出 版 《心理 学 中 的 模糊 集 分 析 》 
《心理 测量 学 》 等 著作 。 





























5) 情感 在 决策 中 的 作用 模式 的 机 器 实现 ， 这 主要 是 情感 
模拟 人 脑 的 控制 模式 ， 建 立 感 觉 、 知 觉 + 情感 决定 行为 T 
(人 脑 控制 模式 ) 的 数学 模型 ， 如 图 1-12 Pras, ESAT fe 控制 | 一 行为 











智能 的 控制 模式 不 同 。 

6) 借鉴 人 工 智 能 (计算机) 编程 语言 的 发 展 过 程 ， 
探索 人 工 心理 (计算机) 编程 语言 的 建立 方法 。 这 是 一 个 具有 挑战 性 的 课题 。 人 工 智 能 编 
程 语言 是 以 知识 表示 、 光 辑 推理 、 面 向 任务 和 面向 知识 为 特征 的 逻辑 型 语言 ;而 人 工 心理 编 
程 语言 应 该 是 以 联想 推理 、 混 沌 运算 、 发 散 思维 、 模 糊 归 纳 为 特征 的 联想 型 语言 。 两 者 的 特 
征 对 比如 图 1-13 所 示 。 





图 1-12 人 脑 控制 模式 























b) 


图 1-13 人 工 智 能 和 人 工 心理 编程 语言 的 特征 对 比 
a) 人 工 智能 编程 语言 b) 人 工 心理 编程 语言 











7) 情感 培养 的 机 天 算法 。 

8) RÆ CWE) 产生 的 机 带 实 现 策 略 ， 如 图 1-14 所 示 。 

(2) 研究 方法 及 技术 路 线 

1) 研究 方法 : 以 心理 学 、 脑 科学 作为 理论 根据 ， 以 模糊 逻辑 、 神 经 网 络 等 人 工 智 能 、 
混沌 理论 、 先 进 算法 (遗传 算法 等 ) 为 基本 人 研究 方法 ， 以 计算 机 技术 〈 数 据 库 、 虚 拟 现实 、 
语言 编程 ) 为 研究 手段 ， 建 立 人 工 心理 学 说 。 这 里 ， 我 们 更 倾向 于 从 行为 主义 学 说 /进化 主 
义 /控制 论 的 角度 出 发 进行 研究 ， 目 的 在 于 应 用 。 

2) 技术 路 线 : 首先 深入 研究 心理 学 、 脑 科学 的 基本 内 容 和 最 新 进展 ， 借 鉴 日 本 感性 工 


m 
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学 的 研究 方法 ， 采 用 模糊 逻辑 、 神 经 网 络 及 混沌 理论 方法 ， 推 导 建 立 人 类 心理 状态 (情感 、 
意志 、 性 格 等 ) 的 数学 模型 ， 并 用 计算 机 语言 进行 编程 ， 将 人 工 心理 理论 以 软件 技术 的 形 
式 体现 出 来 ， 做 出 人 工 心理 数据 库 、 感 性 信息 处 理 软 件 模块 ， 利 用 计算 机 虚拟 现实 (VR) 
技术 对 人 类 心理 状态 进行 模拟 、 评 判 ， 实 现 心理 (人 情感、 性格 等 ) 评判 专家 系统 和 模拟 人 
脑 控制 (感觉 、 知 觉 + 情感 决定 行为 ) 模式 ,借以 推动 人 工 心理 理论 的 发 展 。 

4, 人工 心理 研究 的 七 个 主题 相关 


在 过 去 儿 年 的 研究 过 程 中 ， 我们 感觉 到 ， 
在 已 有 研究 内 容 的 基础 上 ， 应 该 明确 人 工 心理 

















的 几 个 主题 ， 凝 聚 研究 方向 ， 这 样 会 有 力 地 促 
进 人 工 心理 学 科 的 发 展 。 经 过 集体 思考 、 讨 R 明朗 kau 
论 ， 提 出 了 人 工 心理 研究 的 七 个 主题 ; 人 工 心 Ht 

理 的 核心 思想 、 核 心 方法 ， 人 工 心理 统一 模 Z 
型 ， 情 绪 基本 理论 研究 与 情感 计算 建 模 ， 动 机 

-情绪 -决策 的 关系 ; 心理 计算 方法 ， 人 工 心理 
研究 平台 ; 人 工 心理 应 用 问题 ， 以 此 作为 人 工 人 的 心理 机 器 模拟 


心理 未 来 的 指导 思想 和 人 研究 纲领 。 

5 人 工 心理 的 核心 思想 、 核 心 方法 

每 一 个 学 科 都 有 上 自己 的 核心 思想 或 核心 方法 ， 人 工 心理 作为 一 门 新 兴学 科 ， 研 究 提 出 其 
核心 思想 和 核心 方法 是 最 重要 的 问题 。 也 许 一 个 学 科 的 核心 思想 确定 过 程 是 不 断 丰 富 和 逐步 
深化 的 ， 但 由 于 它 对 研究 工作 起 到 的 是 指 路 明灯 作用 ， 我 们 还 是 提出 自己 的 想法 。 

我 们 认为 : 人 工 心理 的 核心 思想 是 ， 情 绪 激 发 在 心理 活动 中 的 作用 和 上 自主 意识 的 机 咒 实 
现 。 人 工 心 理 基本 思想 方法 : 自我 调节 ， 正 向 情绪 ， 协 同 工 作 ， 能 量 平衡 。 

前 面 已 经 提 到 ， 人 工 心理 理论 就 是 利用 信息 科学 的 手段 ， 对 人 的 心理 活动 的 更 全 面 内 容 
的 再 一 次 人 工 机 融 (计算 机 、 模 型 算法 等 ) 实现 。 而 人 类 的 心理 活动 ， 几 乎 毫 无 例外 地 都 
与 情绪 有 关系 ， 比 如 情绪 -动机 、 人 情绪 - 认 知 、 情 绪 -行为 、 情 绪 - 决 策 、 人 情绪- 评价、 情绪- 学 
习 、 人 情绪 -性 格 、 情 绪 - 记 忆 、 人 情绪- 意识 ; 情绪 智力、 情绪- 欲望 、 情 绪 - 理 智 等 ， 可 以 说 人 类 
几乎 所 有 心理 活动 都 受 情绪 的 影响 和 激发 。 人 是 感情 动物 一 一 这 是 一 名 人 人 都 知道 的 名 言 ， 
所 以 人 工 心理 的 核心 应 该 研究 情感 对 其 他 心理 活动 的 激发 和 彼此 之 间 关 系 的 机 带 实 现 问 题 。 
男 外 ， 以 往 情 绪 通 常 被 看 作 是 附属 的 心理 过 程 或 人 类 活动 的 干扰 因素 。 如 今 ， 这 一 观点 
(在 心理 学 界 ) 已 有 很 大 的 改变 ， 大 多 数 情 绪 心 理学 理论 都 认为 情绪 是 具有 内 部 的 、 行 为 的 
社会 适应 的 机 能 ， 是 认 知 、 行 动 、 社 会 交往 和 发 展 的 重要 的 激发 物 和 组 织 者 。 这 就 为 人 工 心 
理 研究 提供 了 理论 源泉 。 自 主意 识 是 人 类 心理 活动 的 重要 内 容 ， 所 以 自主 意识 的 机 屁 实 现 也 
应 该 是 人 工 心理 的 核心 思想 之 一 。 

所 谓 人 工 心理 基本 思想 方法 是 指 在 研究 中 我 们 始终 要 坚持 的 指导 原则 

1) 自我 调节 强调 机 带 实 现时 要 充分 认识 到 人 类 的 自我 、 内 省 和 意识 作用 ; 

2) 正 向 情绪 是 指 我 们 在 机 带 实 现 中 要 弘扬 人 类 的 愉悦 情绪 ， 抑 制 不 良 情绪 ; 

3) 协同 工作 是 指 心理 活动 是 人 类 大 脑 协 同 工 作 的 产物 ， 复 杂 大 系统 理论 是 研究 人 工 心 
理 的 有 力 工具 ; 

4) 能 量 平衡 是 指 人 类 心理 能 量 产 生 内 驱 力 对 心理 活动 的 作用 。 


图 1-14 灵感 (顿悟 ) 产生 的 机 器 实现 策略 
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6. 人工 心 理 统一 模型 建立 

一 个 学 科 在 未 引入 数学 之 前 ， 不 能 称 其 为 学 科 一 一 恩格斯 。 

人 工 心理 研究 要 引入 数学 ， 其 前 提 就 是 建立 一 个 统一 的 心理 数学 模型 ， 这 样 可 以 为 以 后 
的 研究 莫 定 一 个 基础 ， 建 立 一 个 框架 。 
人 工 心理 统一 的 数学 模型 的 研究 目标 : 在 一 定 约束 条 件 下 ， 能 够 描述 人 类 全 部 心理 活动 
( 和 智能、 想象、 学习、 记忆、 注意、 意识 、 情 绪 等 ), 或 者 是 从 大 模型 中 抽出 千 干 个 小 模型 ， 
这 些小 模型 可 以 描述 上 述 心理 活动 之 一 ; 还 可 以 描述 认 知 -情绪 、 动 机 -情绪 -决策 ， 并 具有 协 
同 、 并 行 、 分 层 、 决 策 与 控制 等 功能 。 

总 体 研 究 目 标 要 求 : 

小 模型 (近期 目标 ) 与 大 模型 ( 远 期 目标 ) 的 关系 是 简单 组 合 、 搭 积木 的 关系 ， 而 且 
可 以 将 多 学 科 的 理论 知识 ， 比 如 心理 学 、 脑 科学 、 神 经 科学 、 内 分 洲 学 、 生 理学 、 控 制 论 、 
知识 发 现 、 人 工 智 能 、 数 学 、 复 杂 大 系统 论 、 非 线性 理论 、 系 统 工程 、 数 据 结 构 、 人 类 学 、 
行为 科学 ， 应 用 在 统一 模型 之 中 。 

远 期 目标 : 建立 大 模型 。 

近期 目标 : 针对 心理 活动 之 一 ， 建 立 可 行 、 能 使 用 的 任务 单一 的 小 模型 。 

我 们 初步 提出 的 人 工 心理 统一 的 数学 模型 如 图 1-15 所 示 。 
















































































更 新 决策 ， 评 
价 ， 智 能 规则 





































Ali-15 ”人工 心理 统一 的 数学 模型 





这 个 模型 的 基本 想法 是 能 够 描述 人 的 意志 过 程 、 认 知 过程 、 情 绪 过 程 和 个 性 心理 ， 其 基 
础 应 该 是 脑 科 学 的 基本 知识 ， 而 且 是 以 情绪 激发 为 基本 点 。 其 特点 在 于 : 

1) 小 模型 服从 统一 大 模型 ; 

2) 模块 化 的 小 模型 构成 统一 大 模型 ; 

3) 统一 大 模型 能 够 描述 人 类 的 全 部 心理 活动 ; 而 小 模型 能 够 单独 描述 某 种 特定 的 心理 
活动 ; 
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4) 小 模型 内 部 是 控制 过 程 ， 大 模型 内 部 是 小 模型 协同 决策 过 程 ， 小 模型 之 间 是 协同 、 
并 行 、 分 时 、 耦 合 关系 ; 

5) 在 建 模 过 程 中 ， 应 该 以 计算 机 的 知识 、 体 系 结构 为 技术 手段 ， 以 电子 线路 知识 为 方 
法 ， 以 系统 论 、 控 制 论 和 信息 论 方法 作为 基本 方法 。 

7. 情绪 基本 理论 研究 与 情感 计算 建 模 

在 信息 科学 领域 ， 科 学 家 们 已 经 提出 认 知 科学 、 人 工 智 能 、 情 感 计算 和 感性 工学 的 概念 
和 学 科 。 这 里 ， 我 们 应 该 重视 它们 的 模仿 本 源 一 一 心理 学 。 如 果 我 们 把 目光 投向 心理 学 领域 
(其 主要 研究 内 容 为 认 知 过 程 、 情 绪 过 程 、 意 志 过 程 和 个 性 心理 ) ， 就 会 发 现 这 个 历史 悠久 
的 年 轻 学 科 的 飞速 发 展 。 比 如 ，20 世纪 的 初 斯 和 中 期 ， 受 行为 主义 (控制 界 、 机 器 人 领域 ) 
和 认 知 心理 学 ( 认 知 科学 ) 的 影响 ,情绪 通常 被 看 作 是 附属 的 心理 过 程 或 人 类 活动 的 干扰 
因素 。 如 今 ， 这 一 观点 (在 心理 学 界 ) 已 有 很 大 的 改变 ， 大 多 数 情绪 理论 都 认为 情绪 是 具 
有 内 部 的 、 行 为 的 社会 适应 的 机 能 ， 是 认 知 、 行 动 、 社 会 交往 和 发 展 的 重要 激发 物 和 组 织 
者 。 

前 面 已 经 提 到 ， 我 们 把 人 工 心理 的 核心 问题 看 作 是 情绪 激发 和 自我 意识 ， 所 以 必须 深入 
研究 情绪 基本 理论 ， 这 样 才能 从 根本 上 搞 清 楚 ， 不 至 于 本 未 倒置 ， 做 出 走 弯路 式 的 学 问 。 比 
如 ， 目 前 信息 科学 领域 的 情感 计算 研究 ， 没 有 深入 地 从 情绪 心理 学 家 的 观点 看 问题 。 这 样 做 
的 缺陷 在 于 : 

1) 由 于 情绪 心理 学 的 多 样 性 和 困难 性 ， 导 致 情感 计算 研究 者 的 县 难 情绪 ; 

2) 不 从 情绪 心理 学 的 角度 和 深度 来 研究 情感 计算 问题 ， 不 把 情绪 放 在 人 类 整个 心理 活 
动 中 来 考虑 问题 ， 可 能 导致 研究 走 人 无 解 境地 ， 比 如 情感 计算 的 知名 专家 认为 : 情感 计算 没 
有 建 模 问 题 ， 即 不 可 能 建 模 ;表情 识别 的 理论 基础 问题 ， 都 遵从 EKMAN 肌肉 模 型 ， 事 实 上 
还 有 许多 情绪 心理 学 理论 ， 比 如 伊 扎 德 模型 、 杜 尼克 模型 等 。 

从 信息 科学 研究 者 的 角度 出 发 ， 深 入 研究 情绪 心理 学 的 基本 理论 ， 主 要 研究 情绪 的 定 
义 、 情 绪 的 主要 成 分 〈 因 素 ) 、 情 绪 的 数学 维度 描述 、 基 本 情绪 与 复合 情绪 的 分 类 以 及 转换 
关系 、 情 绪 发 展 理论 、 情 绪 的 来 源 / 起 源 、 情 绪 特 性 (感染 性 )、 情 绪 与 表情 的 关系 (表情 
反馈 论 )、 人 情绪 与 行为 的 关系 、 情 绪 与 动机 的 关系 、 情 绪 与 决策 的 关系 、 环 境 与 情绪、 色彩 
与 情绪 、 音 乐 与 情绪 、 情 商 问题 、 人 类 情绪 的 商业 化 、 人 情绪 心理 学 的 代表 人 物 及 名 著 。 应 该 
说 ， 以 上 内 容 是 情感 计算 和 人 工 心理 研究 者 进行 理论 学 习 的 重要 内 容 。 

建立 可 以 在 机 器 上 实时 运行 的 情绪 心理 计算 模型 ， 使 得 计算 机 真正 能 够 识别 、 适 应 人 类 
的 情感 和 心理 ， 这 是 人 工 心理 研究 所 追求 的 目标 。 目 前 我 们 已 经 建立 了 欧 几 里 得 空间 模型 、 
概率 描述 模型 、 自 组 织 理论 模型 、 离 散 数学 描述 模型 、 隐 马尔 可 夫 模 型 (HMM), KEME 
模型 。 但 是 ， 目 前 离 实用 的 成 熟 模型 的 建立 还 有 较 长 的 路 要 走 ， 尤 其 是 机 器 情感 的 拟人 正确 
性 、 适 应 性 如 何 验证 ， 或 者 说 是 机 器 情绪 的 图 灵 测 试 方法 研究 ， 都 将 是 我 们 长 期 研究 的 目 
标 。 

8. 动机 (心理 需要 ) -情绪 -决策 的 关系 

提出 人 工 心理 需要 -动机 -行为 结构 框架 ， 在 此 框架 下 探讨 机 器 情感 生成 机 制 ， 并 以 控制 
系统 的 概念 讨论 机 器 情感 自动 生成 的 实现 方法 。 目 的 在 于 从 人 的 心智 结构 模型 大 前 提 下 研究 
情感 计算 问题 ， 考 虑 所 提出 的 情感 计算 方法 在 拟人 思考 中 所 起 的 作用 和 所 处 的 地 位 ， 以 此 验 
证 本 书 所 提出 的 人 工 心理 需要 -动机 -行为 结构 模型 和 情感 计算 模型 、 情 感 转移 方法 的 拟人 正 
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确 性 ， 如 图 1-16 所 示 。 
外 界 刺激 






情绪 .行为 “| 输出 
控制 器 
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图 1-16 ”情感 自动 生成 的 一 般 结构 模型 








依据 西 米 诺 夫 的 认 知 理论 ， 提 出 人 工 心理 需要 -动机 -行为 结构 框架 ， 并 在 此 框架 下 探讨 
机 器 情绪 生成 机 制 ， 并 以 控制 系统 的 概念 讨论 机 器 情绪 自动 生成 的 实现 方法 。 其 目的 在 于 从 
人 的 心智 结构 模型 大 前 提 下 研究 情感 计算 问题 ; 考虑 所 提出 的 情感 计算 方法 在 拟人 思考 中 所 
起 的 作用 和 所 处 的 地 位 ， 以 此 验证 提出 的 人 工 心理 需要 -动机 -行为 结构 模型 和 情感 计算 模 
型 、 情 感 转移 方法 的 拟人 正确 性 。 

系统 叙述 如 下 感知 器 获取 外 界 刺激 并 进行 归 类 、 分 析 和 量化 ， 将 由 感知 器 的 输出 与 需 
求 的 差 所 得 出 的 结果 送 给 心智 模型 ， 心 智 模型 与 记忆 、 学 习 构 成 了 机 器 的 思考 、 比 较 过 程 ， 
其 中 包括 情感 计算 模型 、 智 能 推理 模型 ， 这 个 过 程 主要 分 析 机 器 欲望 需求 的 满足 程度 及 其 对 
应 的 各 种 情绪 、 行 为 ， 并 适时 积极 地 调整 机 器 的 需求 ， 情 绪 、 行 为 控制 器 获取 计算 的 结 
Pedi Plan laa. TAMA 

对 于 机 器 的 应 激 反应 ， 感 知 器 获取 外 界 刺激 并 进行 归 类 、 分 析 和 量化 ， 由 于 应 激 刺激 的 
优先 级 别 高 ， 所 以 仅 经 由 心智 模型 产生 机 器 的 情绪 、 行 为 ， 直 接 将 结果 送 到 情绪 、 行 为 控制 
器 ， 控 制 机 器 情绪 、 行 为 的 外 在 表现 。 

各 模块 之 间 是 相互 联系 但 又 相对 独立 的 。 感 知 右 获取 外 界 刺激 并 进行 归 类 、 分 析 ; 需求 
是 根据 机 器 的 七 层 需要 产生 的 ; 系统 与 反馈 为 机 各 的 思考 过 程 ， 其 中 包括 情感 计算 模型 、 知 
能 推理 模型 等 ， 情 绪 、 行 为 控制 絮 是 用 以 控制 与 机 带 欲 望 需求 的 满足 程度 对 应 的 各 种 情绪 、 
行为 。 

待 解 决 的 问题 ， 机 器 需求 生成 模型 的 构造 ， 外 界 刺激 的 量化 、 归 类 ; 心智 模型 的 构造 及 
机 融 情 绪 的 状态 转移 ， 机 器 欲望 需求 的 满足 程度 与 各 种 情绪 、 行 为 的 对 应 关系 等 。 

拟 研究 路 线 : 以 情绪 心理 学 为 基础 ， 运 用 数学 和 计算 机 工具 来 实现 。 

9. 心理 计算 方法 (人工 心 理 研究 方法 ) 

当 研究 目的 与 任务 明确 之 后 ， 利 用 哪些 方法 进行 研究 就 是 非常 关键 的 问题 。 我 们 的 研究 
思路 如 下 : 建立 理论 体系 要 用 理科 的 思想 ， 强 调理 论 体系 的 严 赣 性， 而 实际 使 用 时 ， 采 用 工 
程 的 方法 ， 追 求 计算 的 快速 性 和 实用 性 。 

具体 采用 的 数学 方法 大 致 考虑 如 下 : 

1) 有 界 区 间 内 的 研究 方法 ; 

2) 复杂 大 系统 理论 方法 ; 

3) 系统 论 、 控 制 论 、 信 息 论 基本 方法 ; 
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4) WENT; 

5) HMM ( 隐 马 尔 可 夫 模 型 ; 

6) MM (马尔 可 夫 模型 ) ; 

7) 灰色 理论 方法 ; 

8) 离散 数学 方法 ; 

9) 模糊 数学 ; 

10) 数学 建 模 方法 ; 

11) 量子 计算 。 

具体 是 哪 种 数学 方法 可 以 用 于 人 工 心理 研究 ， 取 决 于 数学 方法 的 适合 性 和 研究 者 对 它 的 
掌握 程度 。 

10. 应 用 问题 

工程 的 目的 是 应 用 ， 工 程 的 创新 是 技术 创新 ， 所 以 人 工 心理 研究 发 展 的 最 高 阶段 是 应 
用 ， 主 要 就 是 在 人 工 系统 中 考虑 人 类 的 心理 和 情绪 成 分 ， 使 得 人 造 的 控制 系统 和 计算 机 系统 
更 符合 、 适 应 人 类 的 情感 ， 实 现 人 际 、 人 机 和 谐 ， 达 到 科学 为 人 类 服务 的 幸福 目的 。 

具体 应 用 如 下 : 

1) 基于 计算 机 网 络 系统 ， 提 高 工作 、 教 育 效率 ， 例 如 远程 教育 中 以 提高 教学 效果 为 目 
标的 人 类 心理 和 情绪 成 分 的 实时 检测 和 理解 方法 技术 ， 电 子 商务 中 考虑 消费 者 心理 取向 的 实 
时 销售 系统 ; 

2) 以 情绪 心理 学 理论 和 方法 为 基本 内 容 ， 利 用 计算 机 构成 情商 专家 系统 ， 用 于 人 际 之 
间 的 情感 识别 与 理解 ， 辅 助 心理 健康 ， 并 在 学 校 的 美学 美育 方面 发 挥 作用 ; 

3) 情感 机 器 人 技术 主要 分 为 两 种 形式 以 信息 咨询 和 服务 为 目的 虚拟 机 器 人 (包括 导 
购 员 、 解 说 员 、 教 师 和 伙伴 等 机 器 人 ) 和 以 家 庭 服务 为 目的 的 机 器 人 (包括 家 庭 服 务 、 人 
类 服务 、 家 庭 老 人 照料 和 智能 图 像 监控 等 机 器 人 ) 。 

11. 人 工 心理 研究 平台 (心理 理论 、 情 感 计 算 理论 、 计 算 机 仿真 语言 平台 、 大 型 数据 库 
建立 ) 

把 人 工 心理 研究 所 得 到 的 成 果 整 合 起 来 ， 建 立 可 供 所 有 情感 计算 研究 者 使 用 的 开放 性 研 
究 平 台 (内 含情 绪 心 理学 基本 理论 方法 ， 情 感 计算 的 多 种 资源 ， 研 究 得 到 的 表情 数据 库 ， 
心理 特征 数据 库 ， 心 理 结构 模型 及 其 程序 实现 ， 提 出 的 几 种 情感 计算 方法 及 其 仿真 程序 ) ， 
此 平台 向 使 用 者 提供 情感 计算 的 理论 与 方法 ， 辅 助 使 用 者 学 习 情 绪 心 理学 基本 理论 方法 ， 进 
行情 感 计算 的 仿真 研究 ， 为 情感 计算 研究 做 出 贡献 。 

建立 此 平台 的 研究 路 线 如 下 : 

1) 归纳 情绪 心理 学 基本 理论 方法 ， 形 成 数据 库 ; 

2) 建立 虚拟 的 面部 表情 库 ; 

3) 建立 心理 特征 库 ， 起 到 人 脸 库 、 表 情 库 的 类 似 作 用 ， 目 的 在 于 从 脸 部 语言 理解 人 的 
个 性 特征 ; 

A) 将 提出 的 基于 欧 氏 空间 的 情感 建 模 方法 、 基 于 概率 空间 的 HMM 情感 建 模 方法 和 基 
于 情绪 维度 的 机 器 情感 非 线性 动态 模型 等 情感 计算 方法 进行 编程 实现 ， 以 开放 的 方式 向 情感 
计算 研究 者 提供 研究 仿真 手段 ， 可 以 进行 情感 计算 、 情 感 自动 生成 参数 优化 ， 推 动情 感 计算 
研究 的 进展 。 
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5) 将 提出 的 人 工 心理 需要 -动机 -行为 结构 模型 进行 编程 实现 ， 以 开放 的 方式 向 情感 计 
算 研 究 者 提供 研究 仿真 手段 ， 可 以 进行 心智 模型 计算 ， 推 动 认 知 一 情绪 计算 研究 的 进展 。 

另外 ， 人 工 心理 主要 研究 还 应 瞄准 意识 的 机 器 实现 问题 (无 意识 、 有 意识 、 选 择 性 注 
意 ) ; 对 于 脑 科 学 、 生 理学 、 认 知 神经 科学 等 知识 的 学 习 也 都 是 人 工 心理 研究 的 重要 问题 ; 
将 所 提出 的 研究 问题 继续 细 化 分 成 许多 具体 小 问题 ， 将 会 便于 研究 过 程 的 可 操作 性 。 

12. 人 工 心理 的 研究 历程 

人 工 心 理 的 研究 内 容 与 情感 计算 与 感性 工学 基本 相似 。 对 于 情感 计算 与 感性 工学 的 研究 
台 于 20 世纪 90 年 代 。 所 谓 感性 工学 ， 就 是 将 感性 与 工程 结合 起 来 的 技术 ， 是 在 感性 科学 的 
基础 上 ， 通 过 分 析 人 类 的 感性 ， 把 人 的 感性 需要 加 入 到 商品 设计 、 制 造 中 去 ， 它 是 一 门 从 工 
程 学 的 角度 实现 能 给 人 类 带 来 喜悦 和 满足 的 商品 制造 的 技术 科学 ， 感 性 工学 由 于 可 以 给 人 们 
的 生活 融 来 快乐 和 和 舒适， 因而 也 被 称 为 “快乐 而 舒适 ”的 科学 。 把 基于 感性 工学 技术 而 生 
产 的 商品 称 为 “感性 商品 ”。 日 本 已 经 形成 了 举国 研究 感性 工学 的 高 潮 。1996 年 日 本 文部 省 
就 以 国家 重点 基金 的 方式 开始 支持 “情感 信息 的 信息 学 、 心 理学 研究 ”的 重大 研究 课题 ， 
参加 该 项 目的 有 十 几 个 大 学 和 研究 单位 ， 主 要 目的 是 把 情感 信息 的 研究 从 心理 学 角度 过 渡 到 
心理 学 与 信息 科学 等 相关 学 科 的 交叉 融合 ， 每 年 都 有 日 本 感性 工学 全 国 大 会 召开 。 与 此 同 
时 ,一 向 注重 经 济 利益 的 日 本 ,在 感性 工学 产业 化 方面 取得 了 很 大 成 功 。 日 本 各 大 公司 欧 相 
开发 、 研 究 、 生 产 了 所 谓 的 个 人 机 器 人 (Personal Robot) 产品 系列 。 其 中 ， 以 SONY 公司 的 
AIBO 机 器 狗 〈 已 经 生产 6 万 只 ， 获 益 近 10 亿美 元 ) 和 QRIO 型 以 及 SDR-4X 型 情感 机 器 人 
为 典型 代表 。 应 该 说 ， 日 本 在 人 工 情绪 技术 的 应 用 方面 是 领先 全 世界 的 。 

目前 情感 计算 的 研究 普遍 受到 学 术 界 和 企业 界 的 关注 ,国际 知名 公司 (如 BM 和 
British Telecom 公司 等 ) 均 成 立 了 专门 的 情感 计算 研究 小 组 。 国 际 知名 大 学 也 纷纷 建立 情感 
计算 研究 小 组 。 总 的 来 说 ， 情 感 计算 研究 均 处 于 起 步 阶 段 。MIT 目前 的 工作 侧重 于 有 关 情 感 
信号 的 获取 (如 各 类 传感器 的 研制 ) 、 情 感 计算 的 应 用 和 可 穿戴 计算 机 。 日 本 学 者 的 研究 侧 
重 于 感性 信息 处 理 (Kansei Information Processing) 方面 。 在 情感 计算 的 研究 过 程 中 ， 与 之 
密切 相关 的 可 穿戴 计算 机 的 研究 近 几 年 来 也 得 到 了 迅猛 的 发 展 。 这 种 计算 机 的 特点 是 可 以 巧 
妙 地 构成 日 常 穿 戴 的 一 部 分 (如 了 眼镜、 手表、 项链、 手镯 、 腰 带 、 鞋 、 帽 、 服 装 等 ) ， 使 计 
算 机 和 穿戴 者 始终 保持 形影不离 。 可 穿戴 计算 机 可 为 情感 计算 的 研究 提供 一 个 很 好 的 研究 平 
台 ， 另 外 情感 计算 的 最 终 表现 形式 可 能 是 可 穿戴 计算 机 或 植 人 人 体 的 芯片 ， 从 而 将 情感 计 
算 、 移 动 计算 和 计算 机 融合 而 真正 成 为 个 性 化 的 人 机 融合 。 虽 说 情感 计算 是 一 门 新 兴学 科 ， 
但 以 往 的 研究 也 为 其 提供 了 一 定 的 知识 积累 。 从 情感 方面 来 讲 ， 人 类 心理 学 和 生理 学 的 研究 
为 情感 计算 提供 了 坚实 的 基础 ;从 相关 研究 内 容 来 讲 ， 如 人 脸 及 面部 表情 识别 、 人 脸 及 面部 
表情 合成 、 手 语 识别 与 合成 、 气 味 识别 等 也 是 学 术 界 一 直 研 究 的 重点 ; 同样 各 种 医疗 器 械 、 
测 谎 仪 等 的 研制 成 功 也 为 情感 计算 提供 了 一 定 的 依据 。 

欧盟 国家 也 在 积极 地 对 情感 信息 处 理 技术 (表情 识别 、 情 感 信 息 测量 、 可 穿戴 计算 等 ) 
进行 研究 。 欧 洲 许多 大 学 成 立 了 情感 与 智能 关系 的 研究 小 组 ， 其 中 比较 著名 的 有 : 日 内 瓦 大 
学 Klaus Scherer 领导 的 情绪 研究 实验 室 ， 布 鲁 塞 尔 自由 大 学 的 D. Canamero 领导 的 情绪 机 天 
人 研究 小 组 以 及 英国 伯明翰 大 学 的 A. Sloman 领导 的 认 知 与 情感 研究 计划 (Cognition and Af- 
fect Project) 。A. Sloman 教授 提出 了 情感 三 层 体系 结构 CogAff Agent Architecture ( 认 知 情感 体 
A), 其 目的 是 探讨 情感 与 认 知 的 相互 作用 。 在 市 场 应 用 方面 ， 德 国 Mehrdad Jalali-Soli 等 人 
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JE 2001 年 提出 了 基于 EMBASSI (网 络 型 电子 商务 ) 系统 的 多 模型 购物 助手 。EMBASSI 系统 
是 由 德国 教育 及 研究 部 (BMBF) 资助 ， 并 由 20 多 个 大 学 和 公司 共同 参与 的 ， 以 考虑 消费 
者 心理 和 环境 需求 为 研究 目标 的 网 络 型 电子 商务 系统 。 欧 盟国 家 的 HUMANEID (类 人 机 器 
A) 计划 联合 了 英国 、 瑞 士 、 德 国 、 法 国 以 及 意大利 的 心理 学 家 和 信息 科学 专家 ， 人 研究 人 
工 情 感 的 理论 方法 和 技术 问题 。 

我 国 对 人 工 情感 的 研究 始 于 20 世纪 90 年 代 ， 大 部 分 研究 工作 是 针对 人 工 情 感 单元 理论 
与 技术 实现 。 北 京 科技 大 学 研究 人 工 心理 和 情感 计算 ， 并 应 用 于 情感 机 器 人 ， 商 品 选 购 系统 
等 实际 系统 中 ， 正 在 情感 建 模 、 人 机 情感 交互 系统 、 情 感 机 器 人 等 方面 进行 深入 探讨 。 北 京 
交通 大 学 进行 多 功能 感知 机 同情 感 计 算 的 融合 研究 。 哈 尔 滨 工业 大 学 研究 多 功能 感知 机 ， 它 
是 将 人 工 智 能 与 并 行 处 理 相 结 合 ， 将 智能 体 技术 、 数 字模 拟 混 合计 算 (利用 自然 法 则 计算 ) 
技术 、 并 行 计算 技术 、 实 时 处 理 技 术 以 及 语音 识别 、 表 情 识别 、 人 脸 识 别 、 人 脸 检测 与 跟 
踪 、 文 字 识 别 、 手 语 识别 、 手 语 合成 、 表 情 合成 、 自 然 语言 理解 等 技术 有 机 地 结合 在 一 起 ， 
构造 一 个 可 以 研究 和 开发 包括 视觉 、 听 觉 等 人 类 语言 (自然 语言 + 人 体 语 言 ) 的 软件 和 硬 
件 平 台 ， 其 中 人 体 语 言 的 认 知 与 理解 包括 手势 、 表 情 、 头 部 运动 的 身体 动作 和 会 话 过 程 中 肯 
定 、 否 定 以 及 其 他 人 体 语气 语言 的 识别 ， 并 与 海尔 公司 合作 研究 服务 机 器 人 。 中 国 科学 院 计 
算 技 术 研 究 所 正在 研究 带 有 表情 和 动作 的 虚拟 人 。 北 京 工业 大 学 正在 进行 多 功能 感知 机 和 人 情 
感 计算 的 融合 研究 。 中 国 科学 院 自动 化 研究 所 主要 研究 基于 生物 特征 的 身份 验证 。 中 国 科学 
院 心 理学 研究 所 、 生 物 研究 所 主要 注重 情绪 心理 学 与 生理 学 关系 的 研究 。 重 庆 大 学 主要 研究 
智能 服务 、 增 强 现 实 、 环 境 感知 、 智 能 手表 等 ， 注 重 软件 方面 的 研究 。 东 南大 学 学 习 科学 研 
究 中 心 把 儿童 面部 表情 与 情感 语音 信息 分 析 、 情 绪 与 认 知 、 虚 拟 现实 与 脑 科 学 可 视 化 技术 、 
认 知 与 生物 信息 学 研究 作为 中 心 主要 研究 方向 。 中 国 科技 大 学 开展 了 基于 内 容 的 交互 式 感性 
图 像 检索 的 研究 。 中 国 科 学 院 软 件 研究 所 主要 研究 人 机 交互 理论 和 智能 用 户 界面 。 浙 江 大 
学 研究 E-Teatrix 中 虚拟 人 物 及 情绪 系统 构造 。 

工程 学 的 目的 是 应 用 ， 工 程 学 的 创新 是 技术 创新 。 所 以 ， 人 工 心理 研究 发 展 的 最 高 阶段 
是 应 用 ， 主 要 就 是 在 人 工 系统 中 考虑 人 类 的 心理 和 情绪 成 分 ， 使 得 人 造 的 控制 系统 和 计算 机 
系统 更 符合 、 适 应 人 类 的 情感 ， 实 现 人 际 、 人 机 和 谐 ， 达 到 科学 为 人 类 服务 的 幸福 目的 。 对 
于 人 工 心理 的 研究 主要 集中 在 情感 模型 建立 与 形式 化 、 情 感 机 器 人 、 虚 拟 数字 人 、 人 工 心理 
的 个 性 化 信息 系统 、 表 情 识别 、 人 类 行为 理解 的 图 像 处 理 技 术 等 方面 。 研 究 项 目 举 例如 下 : 

基于 网 络 的 个 性 化 智能 商品 选 购 系统 ; 

基于 计算 机 视觉 的 情感 虚拟 人 交互 技术 ; 

用 于 情感 机 器 人 的 表情 识别 技术 ，; 

基于 HMM 的 人 工 心理 建 模 方法 及 虚拟 人 相关 技术 ; 

人 脸 检 测 与 基于 Web 的 面部 信息 处 理 技术 ; 

情感 虚拟 人 中 的 人 工 心理 建 模 和 虚拟 现实 应 用 ; 

具有 情感 交互 能 力 的 机 器 人 综合 平台 的 实现 研究 ; 

人 工 心理 在 个 性 化 导购 系统 中 的 应 用 ; 

普 适 环境 下 的 信息 服务 系统 中 的 多 智能 体 技术 ; 

具有 情感 和 语音 交互 能 力 的 虚拟 人 技术 ; 

基于 图 像 处 理 的 面部 特征 提取 与 表情 识别 方法 ; 
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用 于 E-LEARNING 智能 辅助 系统 的 人 工 心理 和 图 像 理解 技术 ; 
双 足 步行 机 器 人 的 控制 策略 与 行为 建 模 技 术 ; 

双 足 步行 机 器 人 的 硬件 平台 实现 研究 ; 

基于 人 工 心理 的 情感 机 器 人 技术 ; 

基于 计算 机 视觉 的 步 态 特 征 提取 与 身份 识别 ; 

表情 识别 与 情感 计算 建 模 技 术 。 
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2.1 概论 


《国家 中 长 期 科学 和 技术 发 展 规划 纲要 (2006 一 2020 年 )》 中 指出 : 作为 前 沿 技术 之 
(7) 的 脑 科 学 与 认 知 科学 的 主要 研究 方向 为 脑 功能 的 细胞 和 分 子 机 理 ， 脑 重大 疾病 的 发 生 
发 展 机 理 ， 脑 发 育 、 可 塑性 与 人 类 智力 的 关系 ， 学 习 记 忆 和 思维 等 脑 高 级 认 知 功能 的 过 程 及 
其 神经 基础 ， 脑 信息 表达 与 脑 式 信 息 处 理 系统 ， 人 脑 与 计算 机 对 话 等 。 

这 里 所 讲 的 脑 式 信息 处 理 系统 和 人 脑 与 计算 机 对 话 研究 ， 对 于 从 事 信 息 科 学 领域 的 人 工 
智能 技术 、 服 务 机 器 人 技术 、 人 机 交互 技术 研究 的 人 们 有 着 很 大 的 吸引 力 。 人 们 将 其 称 为 人 
工大 脑 技 术 。 人 类 心理 是 大 脑 对 自然 的 客观 反映 。 研 究 人 工 心理 ， 首 先 也 应 该 研究 人 工大 脑 
技术 。 

2.1.1 “人 工大 脑 ”的 概念 


“人 工大 脑 ” 是 广义 人 工 生 命 的 核心 器 官 ， 从 信息 处 理 的 角度 对 人 脑 进 行 研究 ， 并 由 此 
研制 出 像 人 脑 那样 能 够 思维 的 智能 计算 机 和 智能 信息 处 理 方法 。 

1. “广义 人 工 生命 ”的 定义 

广义 人 工 生 命 (GAL) 是 “自然 生命 ”的 模型 、 延 伸 和 扩展 ， 是 “具有 自然 生命 现象 、 
行为 特性 、 功 能 的 人 造 系统 。”GAL 可 以 是 工程 人 造 系统 或 生物 人 造 系统 。 

作为 “广义 人 工 生命 ”核心 器 官 的 “广义 人 工大 脑 ” 可 以 为 人 脑 (或 动物 脑 ) 的 模 
型 、 延 伸 和 扩展 ， 是 具有 人 脑 〈 或 动物 脑 ) 的 现象 、 行 为 (和 /或 ) 特性 、 功 能 的 人 造 系 
统 。 它 包括 生物 人 工 脑 (Biological Artificial Brain, BAB), THA Tiii (Engineering Artifi- 
cial Brain, EAB) 和 生物 工程 人 工 脑 (Biological-Engineering Artificial Brain, BEAB) 。 

2. “人 工大 脑 ” 定 义 的 一 些 其 他 看 法 

“人 工大 脑 ” 采 取 了 进化 的 思想 ， 其 实 是 建立 在 理解 人 脑 、 模 拟人 脑 并 实现 人 脑 功能 的 
基础 上 的 。 

1) 日 本 ATR 研究 所 (Advanced Telecommunication Research Institute ， 先 进 通信 技术 研究 
所 ) 的 进化 系统 部 (Evolutionary Systems Department ) 致力 于 开发 新 的 信息 处 理 系 统 ， 这 种 
基于 人 工 神 经 网 络 的 系统 具有 类 似 于 人 脑 的 某 些 信息 处 理 功 能 ， 如 自治 性 和 智能 性 等 ， 他 们 
把 这 样 的 系统 称 为 “人 工大 脑 ”。 

2) 人 工 智能 及 神经 网 络 专家 从 人 工 生 命 的 观点 出 发 ， 用 计算 机 作为 手段 再 现 脑 的 思维 
决策 过 程 ， 用 人 工 脑 控 制 器 使 机 器 人 更 聪明 。 其 信息 加 工 流 程 为 : 人 工 脑 通过 学 习 具 有 前 期 
和 后 期 记忆 的 能 力 ， 可 以 通过 “感知 ”外 界 环境 的 刺激 进行 “思考 ”和 “决策 ”， 产 生 对 
外 界 环境 进行 “反应 ”。 
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2.1.2 “人 工大 脑 ” 的 技术 与 实现 


按 人 工大 脑 的 实现 方式 可 分 为 : 中 类 似 生 命 的 模型 ，@) 社 会 模型 。 

人 工大 脑 包括 传统 的 用 于 神经 系统 的 学 习 模 型 ， 如 人 工 神经 网 络 。 在 类 似 生命 的 模型 
中 ， 系 统 有 一 个 类 似 于 生命 系统 胚胎 发 育 的 功能 ,使 得 系统 的 结构 和 组 成 单元 能 够 发 生变 
化 ， 形 成 复杂 系统 。 

在 社会 模型 中 ， 系 统 被 视 为 一 个 动态 过 程 ， 在 这 个 过 程 中 ， 局 部 的 、 各 个 单元 之 间 的 连 
接 使 得 整体 的 、 全 局 的 功能 、 次 序 、 状 态 发 生 突现 。 反 过 来 ， 各 个 单元 也 受到 全 局 状态 的 影 
响 。 

1. 按 “ 人 工大 脑 ” 的 人 造 方法 和 技术 分 类 

人 工大 脑 可 划分 为 生物 人 工 脑 、 工 程 人 工 脑 、 生 物 工程 人 工 脑 三 类 。 

生物 人 工 脑 是 用 生物 方法 和 技术 (如 克隆 技术 、 转 基因 技术 等 ) 生成 的 。 例 如 “人 工 
羊 ” 多 莉 的 脑 显 然 就 是 用 人 工 方法 得 到 的 “人 造 脑 ”。 

工程 人 工 脑 是 用 工程 技术 的 方法 (如 计算 机 软件 ， 光 、 机 、 电 硬件 等 ) 制造 的 。 例 如 
ATR 研究 所 的 “细胞 自动 机 - 仿 脑 机 ” (CAM-Brain Machine, CBM) 。 

生物 工程 人 工 脑 则 是 由 生物 方法 技术 与 工程 技术 相 结 合 而 生成 或 制造 的 。 这 种 方法 的 代 
KRA: 

(1) 计算 机 微 芯片 ” 即 用 一 个 可 以 模拟 人 类 神经 系统 的 电子 电路 “计算 机 微 芯 片 ” 
成 功 地 植 人 大 脑 ， 利 用 仿生 学 的 原理 对 人 体 神 经 进行 修复 。 它 与 大 脑 协作 发 出 复杂 的 指令 给 
电子 装置 ， 监 测 大 脑 的 活动 或 者 是 代 蔡 一 部 分 大 脑 的 功能 。 剑 桥 大 学 的 茶 福 瑞 斯 认为 ， 在 不 
久 的 将 来 ， 人 们 可 以 在 脑 中 放 入 增加 记忆 的 芯片 ， 使 人 类 有 一 个 备用 的 大 脑 。 

(2) 生物 电子 人 估 治 亚 理工 学 院 的 研究 人 员 近 来 已 经 利用 取 自 动物 脑 部 的 组 织 细胞 与 
计算 机 硬件 进行 结合 ， 这 样 研制 而 成 的 机 需 就 被 称 为 “生物 电子 人 ”或 者 “ 半 机 器 人 ”。 如 
果 芯 片 与 神经 末梢 相 吻 合 ， 就 可 将 芯片 通过 神经 纤维 和 身体 上 的 神经 系统 连接 起 来 。 这 样 就 
通过 计算 机 提高 人 的 大 脑 功能 。 

2. 按 “ 人 工大 脑 ” 的 工程 实现 方法 分 类 

(1) 基于 神经 工程 (NE) 的 “人 工大 脑 ” 人 工 神经 网 络 (Artificial Neutral Network, 
ANN) 由 许多 简单 的 、 并 行 工作 的 处 理 单元 组 成 ， 单 元 之 间 按 照 一 定 的 结构 相互 连接 ， 构 
成 神经 计算 机 。 神 经 计算 机 采用 众多 相互 类 似 的 简单 处 理 单元 (相当 于 人 脑 中 的 神经 细胞 ) 
有 机 地 结合 在 一 起 ， 以 并 行 的 “集体 工作 ”方式 进行 工作 。 信 息 的 存储 、 传 播 和 处 理 都 与 
生物 神经 网 络 类 似 。 

(2) 基于 AI 的 “人 工大 脑 ” 这 种 实现 方法 主要 采用 人 工 智 能 技术 中 的 启发 式 算 法 
(HA) 、 专 家 系统 (ES) 、 通 用 问题 求解 (CPS) 和 知识 信息 处 理 系 统 (KIPS) 等 ， 从 功能 
上 而 不 是 刻意 从 结构 上 模拟 人 脑 的 功能 。 

例如 通过 借鉴 人 脑 信 息 处 理 的 特点 ,综合 运用 模糊 逻辑 、 人 工 神经 网 络 ， 以 及 遗传 算法 
(CA) 来 建立 具有 专家 素质 的 仿生 人 脑 模型 。 采 用 知识 挖掘 技术 ， 获 取 外 部 信息 ， 丰 富 和 更 
新 专家 大 脑 模 型 的 知识 。 通 过 模糊 推理 得 到 评价 准则 。 这 样 的 人 脑 模 型 已 经 在 专家 系统 中 得 
到 了 良好 的 应 用 。 

(3) 基于 超级 计算 机 的 “人 工大 脑 ” 严格 说 来 ， 超 级 计算 机 只 有 并 行 操作 和 资料 搜寻 
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的 能 力 ， 谈 不 上 “智能 ”两 字 。 但 是 在 特定 的 领域 (“简单 ”问题 )， 借 助 优良 的 软件 完全 
可 以 与 人 脑 匹敌 ， 故 可 以 充当 “人 工 脑 ”的 角色 。 


2.2 大 脑 的 基本 知识 





2.2.1 概述 


研究 人 工大 脑 技术 ， 首 先 应 该 学 习 人 类 大 脑 的 基本 知识 ， 以 作为 未 来 研究 的 理论 基础 。 
人 类 大 脑 已 经 成 为 美国 (大脑 十 年 计划 和 行为 十 年 计划 )、 日 本 (国家 重大 科技 计划 ) 和 欧 
洲 等 发 达 国 家 竞相 研究 的 对 象 。 作 为 工科 领域 的 工作 者 ， 学 习 一 些 脑 科学 的 基本 知识 ， 对 于 
未 来 进行 人 工大 脑 的 前 沿 研 究 ， 有 着 非常 重要 的 实际 意义 。 

人 脑 是 由 上 千 亿 个 神经 元 组 成 的 复杂 巨 系统 。 这 个 复杂 巨 系 统 已 经 超过 了 单纯 的 医学 或 
心理 学 研究 的 概念 范畴 。 它 实际 上 是 一 个 信息 科学 的 概念 。 大 脑 为 人 类 提供 了 知觉 、 运 动 、 
注意 、 记 忆 、 思 维 、 语 言 、 情 感 、 意 识 等 重要 的 高 级 功能 的 认 知 行为 。 

科学 家 预言 21 世纪 生命 科学 的 走向 是 : 基因 组 一 蛋白 组 一 脑 一 认 知 一 行为 。 

脑 科 学 (Brain Sciences) 是 研究 人 脑 的 结构 与 功能 的 综合 性 学 科 。 由 于 脑 并 不 是 孤立 存 
在 的 ， 研 究 的 对 象 不 只 局 限于 脑 ， 而 是 包括 与 脑 密 不 可 分 的 整个 神经 系统 ， 其 至 包括 感觉 和 
效应 器 官 。 因 此 ， 脑 科学 也 称 为 神经 科学 (Neuro Sciences) ， 也 与 神经 生物 学 (Neurobiolo- 
ey) 常常 通用 。 脑 科学 属于 综合 性 学 科 ， 需 要 各 学 科 相 互 渗透 ， 哲 学 家 试图 理解 思维 的 脑 或 
脑 的 思维 ; 物理 学 家 试图 理解 
物理 的 脑 或 脑 的 物理 学 ; 计算 Pee 
ESE aie A od ee ans 
的 计算 。 当 然 ， 生 物 学 家 也 试 
图 理解 生物 的 脑 或 脑 的 生物 学 
Pas 但 是 ， 脑 同时 是 物质 的 、 SARC 
精神 的 、 思 维 的 、 物 理 的 、 生 阵列 (EMA) 
物 的 …… 脑 将 是 一 切 科学 家 最 MEG.PET 
ADEN MURA, HIEM ele 
生 了 脑 科学 这 一 神秘 而 又 有 时 行为 定量 测量 































































































代 和 超时 代 意 义 的 科学 领域 。 图 2-1 脑 科 学 与 三 大 学 科 的 交叉 
脑 科 学 的 研究 范围 很 广 EMA 一 电极 阵列 “ERP 一 事件 相关 脑 电 位 ”MEG 一 脑 磁 图 
泛 ， 可 以 涉及 生命 科学 各 个 领 PET 一 正 电子 断层 扫描 ”fMRI 一 功能 性 核磁 共振 成 像 
域 ， 如 数学 、 物 理学 、 化 学 、 信 息 学 等 当今 任何 一 个 学 科 ， 从 图 2-1 不 难看 出 脑 科 学 与 其 他 
科学 的 交叉 。 





认识 脑 ， 首 先 要 从 脑 的 基本 知识 出 发 ， 脑 和 兰 散 一 样 ， 是 中 枢 神经 系统 的 一 部 分 ， 而 脑 
又 由 端 脑 〈 大 脑 和 基底 神经 节 ) 、 间 脑 、 中 脑 、 脑 桥 、 延 髓 和 小 脑 构 成 。 其 中 大 脑 的 组 成 如 
图 2-2 所 示 。 脑 干 包括 中 脑 、 脑 桥 和 延髓 三 部 分 。 延 髓 连 着 消 髓 ， 好 像 是 峭 髓 的 延长 ， 故 称 
延髓 。 
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图 22 大脑 的 组 成 示意 图 


大 脑 各 部 分 功能 见 表 2-1。 
表 2-1 ”大脑 中 枢 神经 系统 各 部 分 的 主要 功能 



















































































































































































部 位 功 能 
中 枢 神经 系统 的 最 尾 侧 部 。 控 制 四 肢 及 躯干 运动 ， 接 受 由 四 肢 及 躯干 皮肤 、 关 节 及 肌肉 传人 的 感 
党 信息 并 进行 加 工 
EB EPL, PAVERS SEAGER, WNE, MPO bE tl 
脑 桥 立 于 延髓 上 方 ， 把 有 关 运 动 的 信息 传 向 小 脑 
小 脑 立 于 脑 桥 后 方 ， 有 三 对 小 脑 脚 与 脑 干 相连 ， 调 制 运动 的 力量 与 范围 ， 并 与 运动 技巧 的 学 习 有 关 
中 脑 立 于 脑 桥 的 嘴 侧 。 控 制 许多 感觉 及 运动 功能 ， 包 括 眼球 运动 及 视 、 听 反射 的 协调 
ans 立 于 中 脑 的 嘴 侧 ， 包 括 丘 脑 及 下 丘脑 两 部 分 。 丘 脑 加 工 从 脑 的 其 他 部 分 进入 大 脑 皮 层 的 信息 ; 下 
丘脑 调节 自主 性 、 内 分 泌 及 内 脏 功 能 
包括 大 脑 皮层 及 三 个 深 位 置 的 结构 :基底 神经 节 参 与 运动 调节 ; 海马 参与 记忆 存储 的 某 些 方面 ; 
杏仁 核 群 协调 与 情绪 有 关 的 各 种 自主 性 及 内 分 小 反应 ， 它 也 是 芍 惧 性 条 件 反 射 的 中 枢 之 一 
其 中 ,大 脑 由 左右 大 脑 半球 组 成 ， 两 半球 占 人 脑 重 量 60% ， 其 体积 为 整个 中 枢 神 经 系 
统 的 1/3 ， 它 覆盖 在 间 脑 、 中 脑 和 小 脑 的 上 面 。 大 脑 皮 层 指 大 脑 半 球 表面 ， 它 由 灰质 所 履 








盖 ， 人 类 的 大 脑 皮 层 是 人 类 意识 活动 的 物质 基础 。 大 脑 皮 层 的 神经 细胞 约 有 140 亿 个 ， 面 积 
约 为 2200cm ， 大 脑 皮 层 止 凸 不 平 ， 布 满 深浅 不 同 的 沟 ， 沟 与 沟 之 间 隆 起 称 为 大 脑 回 。 每 个 
半球 以 几 条 主要 沟 为 界 ， 分 为 不 同 的 脑 叶 。 而 在 各 脑 叶 区 域内 ， 有 许多 小 的 脑 沟 ， 其 中 蕴藏 
着 各 种 神经 中 枢 ， 分 担 不 同 的 任务 ， 形 成 了 大 脑 皮 质 的 分 区 专 司 功 能 。 图 2-3 是 大 脑 功能 的 
结构 示意 图 。 


2.2.2 大 脑 的 基本 组 织 结构 


与 人 体 的 其 他 需 官 一 样 ， 脑 的 基本 构成 单位 也 是 细胞 ， 构 成 人 脑 的 细胞 按 功能 和 结构 不 
同 分 为 两 大 类 : 神经 细胞 和 神经 胶 质 细胞 。 
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1. 神经 细胞 

神经 细胞 (Nerve Cell) 是 高 度 分 化 的 细胞 ， 数 量 庞大 ， 形 态 多 样 ， 结 构 复 杂 ， 在 生理 
功能 上 具有 能 感受 刺激 和 传导 冲动 (进行 分 析 综 合 ) 产生 反应 的 特点 。 信 息 处 理 就 是 由 这 

C= 类 细胞 进行 的 。 神 经 细胞 又 称 为 神经 元 

(Neuron) ， 它 是 人 脑 信息 处 理 的 基本 功能 
位 。 神 经 元 具有 独特 的 构造 ， 它 分 为 胞 体 和 
突起 两 部 分 ， 突 起 又 分 轴 突 和 树 突 两 种 ， 如 
Al 2-4 所 示 。 























轴 突 


图 2-3 ”大脑 功 能 的 结构 示意 图 图 24 神经 元 


神经 元 的 胞 体位 于 脑 和 疹 髓 的 灰质 及 神经 节 内 ， 其 形态 各 异 ， 常 见 的 形态 为 星 形 、 锥 体 
形 、 梨 形 和 圆 球形 等 。 胞 体 大 小 不 一 ， 直 径 在 5 ~150km 之 间 。 胞 体 是 神经 元 的 代谢 和 营养 
中 心 。 突 起 中 ， 突 起 数量 比较 多 、 个 头 比较 小 的 叫 作 树 突 ; 突起 比较 长 、 个 头 也 比较 粗大 
的 ， 叫 作 轴 窗 。 这 些 突起 与 信息 传导 有 密切 的 联系 ， 树 突 是 负责 接收 信息 的 ， 而 轴 突 是 负责 
传 出 信息 的 。 

2. 神经 网 络 

神经 细胞 是 人 体 细 胞 的 一 种 ， 同 其 他 细胞 一 样 ， 它 也 有 一 个 从 小 到 大 、 生 老病 死 的 过 
程 ， 但 是 与 其 他 细胞 不 同 ， 它 的 胞 体 不 能 再 生 ， 不 能 像 其 他 细胞 死 了 一 个 再 补充 一 个 ， 细 胞 
的 总 数 大 致 维持 不 变 。 神 经 细胞 的 数量 在 人 类 出 生 时 后 的 几 个 月 里 基本 就 固定 下 来 了 ， 以 后 
也 不 再 增长 。 这 里 所 说 的 单 指 神经 细胞 ， 胶 质 细胞 是 可 以 再 生 的 。 

虽然 神经 元 不 能 再 生 ， 但 是 它 上 
面 的 突起 却 可 以 再 生 ， 并 且 总 是 在 进 
行 互相 连接 的 活动 。 正 是 有 这 种 活 
动 ， 才 使 神经 细胞 之 间 建 立 起 各 种 联 
系 ， 使 神经 系统 成 为 神经 网 络 这 样 一 
个 机 能 活动 系统 ， 如 图 2-5 所 示 。 事 
实 上 ， 脑 的 机 能 并 不 取决 于 脑 细 胞 的 
绝对 数量 ， 而 是 与 脑 细胞 之 间 建 立 起 
来 的 网 络 的 复杂 性 密切 相关 。 神 经 网 络 是 脑 的 功能 系统 的 框架 ， 由 于 神经 系统 的 复杂 ， 使 得 
人 类 的 各 种 高 级 心理 活动 成 为 可 能 。 而 神经 网 络 形 成 的 物质 基础 是 突 触 ， 突 触 是 具有 强大 的 
可 增长 性 的 。 















































图 2-5 神经 网 络 示 意图 
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2.2.3 ”大脑 的 三 个 部 分 


地 球 生命 已 有 30 多 亿 年 的 历史 ， 在 这 个 历史 长 河中 ， 生 物 的 大 脑 缓慢 地 进化 ， 形 成 了 
今天 的 样子 。 人 类 的 大 脑 里 面 也 有 着 这 种 进化 的 痕迹 。 

根据 脑 的 结构 、 皮 质 的 类 型 和 作用 的 不 同 ， 科 学 家 提出 了 人 脑 的 三 位 一 体 学 说 ， 即 大 脑 
有 三 个 部 分 : 吉 脑 ， 也 叫 作息 行 脑 ; 旧 脑 ， 也 叫 作 哺乳 脑 ;最 后 一 个 是 新 脑 ， 也 就 是 大 脑 的 
新 皮层 ， 如 图 2-6 所 示 。 这 三 个 大 脑 部 分 ， 一 个 覆盖 着 一 个 ， 在 进化 的 阶梯 上 逐步 形成 ， 并 
且 后 来 的 掌管 它 前 面 的 。 

疏 行 脑 位 于 最 底部 ， 是 一 个 状 似 息 行动 物 的 结构 ， 
它 是 仆 行 动物 就 已 全 部 具备 了 的 脑 结构 ， 已 有 2 亿 年 的 
历史 。 仆 行 脑 的 主要 部 分 就 是 脑 干 ， 主 要 负责 人 类 的 非 
随意 性 行为 ， 即 那些 不 受 我 们 思想 制约 的 那些 无 意识 的 
生理 性 活动 ， 比 如 说 调节 心跳 和 呼吸 等 维持 生命 活动 的 
基本 功能 等 。 此 外 ， 疏 行 脑 在 人 类 的 本 能 性 的 身体 反应 
中 也 起 着 重要 的 作用 。 

哺乳 脑 在 息 行 脑 的 上 面 ， 没 有 疏 行 脑 那么 古老 ， 但 2 
也 有 6000 万 年 之 久 ， 它 的 结构 类 似 老鼠 的 大 脑 结构 ， 
哺乳 脑 是 哺乳 动物 共有 的 。 哺 乳 脑 的 功能 比较 复杂 ， 它 图 ?6 人 类 大 脑 的 二 大 组 成 部 分 
掌管 着 繁殖 、 吃 喝 的 节律 ， 还 是 情绪 的 发 起 中 心 和 操纵 
平台 ， 控 制 着 人 类 复杂 的 情绪 和 情感 活动 。 与 代行 脑 一 样 ， 它 所 掌管 的 那些 功能 也 不 受 思 想 
控制 。 人 遇 到 危机 情况 时 的 紧张 、 受 惊吓 时 的 恐惧 ， 以 及 各 种 微妙 的 情感 波动 ， 所 有 这 些 的 
生物 学 基础 都 是 哺乳 脑 的 功能 活动 。 

新 皮层 是 人 类 独 有 的 ， 从 进化 上 看 ， 人 类 的 大 脑 皮层 包含 了 几 种 不 同 的 成 分 。 在 种 系 演 
化 上 ， 最 早出 现 的 皮质 是 嗅觉 性 的 ， 主 要 的 功能 是 调节 内 脏 的 活动 ， 这 种 皮质 在 鱼 类 就 已 经 
出 现 ， 叫 作 吉 皮 质 。 从 疏 行 类 开始 ， 非 嗅觉 的 新 皮质 出 来 了 ， 在 以 后 的 进化 过 程 中 ， 新 皮质 
的 面积 不 断 增 加 ， 发 展 迅速 。 到 了 哺乳 类 ， 特 别 是 高 等 哺乳 类 ， 新 皮质 已 占据 了 主导 地 位 。 
在 人 类 的 大 脑 中 ， 新 皮质 占 了 全 部 皮质 的 96% ， 而 十 皮质 则 剩 下 很 小 的 部 分 。 新 皮层 是 人 
类 进行 思维 的 部 分 ， 它 负责 人 类 的 各 种 高 级 认 知 机 能 ， 如 言语 、 记 忆 、 判 断 、 推 理 、 计 划 、 
组 织 以 及 各 种 有 意识 的 行为 。 由 于 新 皮层 是 在 代行 脑 和 哺乳 脑 的 基础 上 发 展 起 来 的 ， 所 以 它 
对 于 它 的 前 身 具 有 调控 作用 。 


2.2.4 左右 脑 的 区 别 与 联系 


大 脑 两 半球 功能 的 不 对 称 性 ， 又 称 大 脑 两 半球 功能 的 专 化 (Functional Specialization) 或 
功能 的 单 侧 化 (Functional Lateralization) 。 人 们 曾 对 大 脑 半 球 的 功能 不 对 称 性 方面 的 研究 倾 
注 了 很 大 的 热情 ， 其 至 有 人 和 希望 它 能 作为 打开 大 脑 “ 黑 箱 ” 的 钥匙 。 随 着 研究 的 逐渐 深入 ， 
人 们 逐渐 认识 到 ， 大 脑 左 右 半 球 的 分 工 并 不 是 那么 泾 渭 分 明 ， 功 能 的 单 侧 化 只 具有 相对 的 意 
义 ， 左 右 半 球 既 有 相对 的 分 工 ， 又 有 密切 的 协作 ， 人 的 许多 重要 的 心理 功能 都 需要 左右 半球 
的 密切 协作 才能 完成 。 
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2.2.5 左右 脑 的 结构 与 功能 


人 脑 由 左 半球 和 右 半 球 构成 ， 其 结构 几乎 完全 一 样 ， 如 图 2-7 所 示 。 但 两 者 有 不 同 的 功 
， 分 管 人 的 不 同行 为 。 这 就 好 比 中国 古 代 参 廷 有 左 系 相 和 右 孙 相 ， 分 管 不 同 的 工作 。 


Z》 
CC 


变 得 可 以 
说 活 





图 2-7 左右 脑 示 意图 





人 体 的 许多 器 官 都 是 不 完全 对 称 的 ， 有 的 很 明显 ， 如 心 、 肝 、 肺 、 脾 等 ， 有 的 仔细 检查 
才 可 发 现 两 边 的 不 对 称 性 ， 例 如 眼 的 大 小 、 嘴 展 的 边缘 以 及 面 肌 的 运动 等 都 有 细微 的 不 对 称 
性 。 人 们 在 致力 于 探索 左右 半球 功能 差别 的 同时 ， 也 在 力图 寻找 左右 脑 形态 方面 的 差异 ， 并 
试图 使 其 与 功能 方面 的 差异 联系 起 来 。 

自从 19 世纪 60 年 代 法 国医 生 布 罗 卡 提出 左 额 下 回 受 损 可 导致 失语 症 以 后 ， 大 脑 半球 功 
能 一 侧 化 的 问题 引起 了 人 们 极 大 的 兴趣 。 为 了 搞 清 左 右 大 脑 半 球 的 功能 差别 ， 人 们 进行 了 大 
量 的 研究 。 时 至 今日 ， 相 当 多 的 人 认为 ， 大脑 左右 半球 的 功能 差别 已 研究 得 相当 清楚 ， 它 们 
各 司 其 职 。 = 中 央 区 

在 图 2.8 中 ， 大 家 可 以 看 到 部 分 功能 。 将 
区 在 左 半球 所 处 位 置 。 

1988 年 ，Bryden 总 结 了 较 大 的 三 种 
病例 的 利 手 与 语言 倾向 的 关系 。 结 果 表 
明 ， 三 组 利 手 者 95% 以 上 的 语言 倾向 在 
左 半球 ， 且 无 双 侧 语言 代表 区 。 左 利 手 者 
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三 组 差异 较 大 。Carter 等 报道 ， 左 利 手 者 WA 
语言 代表 区 在 双 侧 半球 者 达 66%, M Se- 
galowitzand 和 Bryden 报道 ，61% 左 利 手 者 图 2-8 大脑 左 半球 分 区 功能 
语言 代表 区 在 左 半球 。 虽 差别 较 大 ， 但 都 
认为 相当 数量 左 利 手 者 的 语言 代表 区 在 双 侧 半球 ， 见 表 2-2。 

表 2-2 语言 倾向 与 利 手 的 关系 


主要 听觉 区 RREAK 













































语言 倾向 ( % ) 语言 倾向 ( % ) 
Carter 等 99 | 0 1 Carter 等 23 | 66 | 11 
A 左 
利 | Segalowitzand 和 Bryden 95 | 0 | 5 a Segalowitzand 和 Bryden 61 | 20 | 19 
: Rasmussen 和 Milner 96 10 | 4 Milner 70 | 15 | 15 
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右 脑 控制 左 半身 活动 ， 它 是 处 理 表 象 和 进行 具体 形象 思维 、 发 散 思维 、 直 觉 思 维 的 中 
枢 。 它 主管 人 的 视 知 觉 、 复 杂 知 觉 、 模 型 再 认 、 形 象 记忆 、 认 识 空间 关系 、 识 别 几何 图 形 、 
想象 、 做 梦 、 理 解 隐喻 、 音 乐 、 节 奏 、 舞 蹈 以 及 态度 、 情 感 等 ， 具 有 不 连续 性 、 弥 漫 性 、 整 
体 性 等 功能 ， 称 之 为 “情感 半球 ”或 “形象 半球 ”。 

右 脑 是 用 表象 进行 思维 的 ， 它 在 再 认识 和 处 理 复杂 知觉 模型 方面 占有 极 大 的 优势 。 它 的 
判断 不 是 一 步 一 步 地 做 出 的 ， 而 是 瞬间 就 可 以 做 出 ; 它 能 根据 整个 表象 同时 考虑 大 量 数据 ， 
而 不 是 单独 地 考虑 每 一 个 因素 ; 在 整个 判断 过 程 中 ， 它 不 需要 语言 和 逮 辑 作为 思维 的 工具 ， 
因而 也 不 能 用 语言 加 以 解释 。 对 于 那些 难以 转换 成 语言 和 难以 按 逻 辑 步 又 理解 的 任务 ， 右 脑 
可 以 发 挥 出 其 特有 的 作用 。 例 如 ， 它 可 以 在 人 群 中 只 需 扫 一 眼 就 将 某 张 脸 再 次 认 出 ， 而 左 脑 
则 不 行 。 左 脑 只 能 一 次 一 步 地 逐一 对 照 面 部 特征 ， 然 后 才能 加 以 确认 。 又 如 ， 右 脑 可 以 毫 不 
费力 地 估计 空中 来 球 的 速度 和 轨道 ， 其 至 可 以 同时 考虑 到 风向 的 影响 和 地 面 的 斜 度 ， 指 令 手 
壁 将 来 球 准确 地 抓 住 ， 而 左 脑 就 做 不 到 了 。 

有 人 对 制 裂 脑病 人 进行 知觉 能 力 的 测验 中 ， 发 现 右 半 球 在 按 图 样 搭 拼 积 木 、 绘 画 和 临 擎 
各 种 图 形 的 能 力 方 面 优 于 左 半球 ; 右 半球 在 从 部 分 构成 整体 概念 的 思维 活动 能 力 方面 也 较 左 
半球 强 。 这 说 明 空 间 操作 功能 的 主要 神经 机 理 在 右 半球 。 

临床 观察 ， 左 半球 或 右 半 球 受 损 病 人 的 情绪 往往 有 所 不 同 。 右 半球 受 损 的 病人 常 有 积极 
情绪 ， 往 往 显得 满不在乎 ， 对 自己 的 病情 轻描淡写 ,或 予以 否认 ， 爱 与 人 开玩笑 ， 左 半球 受 
损 的 病人 党 有 消极 情绪 ， 显 得 痛 茄 、 绝 望 或 愤怒 。 有 实验 者 给 正常 人 右 侧 贷 动脉 内 注射 阿 米 
Be (一 种 抑制 剂 ， 可 使 注射 的 一 侧 大 脑 半球 麻痹 ) 后 常 出 现 欣 快感 ， 甚 至 爆发 一 阵 大 笑 ， 
而 左 侧 注 射 后 常 出 现 忧郁 和 流泪 。 

为 了 醒目 起 见 ， 两 个 半球 不 同 功 















































表 2-3 左右 脑 功能 对 比 
































能 对 比 见 表 2-3。 项 目 zhi A 
当然 , 这 只 是 一 个 大 致 上 的 轮 DE | 控制 身体 右 侧 活动 控制 身体 左 便 活动 

廓 ， 实 际 情况 远 比 这 复杂 。 因 为 人 脑 A aea 

的 秘密 是 世界 最 后 的 秘密 。 今 天 我 们 hie viene 

对 人 脑 内 部 运作 的 机 密 或 机 制 仅仅 是 感觉 时 间 感觉 空间 

刚刚 看 到 了 冰山 露出 的 一 小 角 。 A Mr 
脑 科 学 研究 发 现 ， 一 般 儿 童 到 2 思维 知觉 和 表象 

岁 之 后 ， 左 脑 开 始 慢 慢 发 育 ， 言 语 中 ”积极 的 技术 | 公式 化 视觉 化 

枢 逐 步 发 达 ， 此 前 基本 上 是 生活 在 右 。 消极 习惯 | 亲 乱 空想 

脑 形象 世界 里 ; 到 3 岁 左 右 ， 对 于 言 

语 运用 已 达到 一 定 程度 的 自如 ; 4 ~6 岁 是 幼儿 在 自己 的 形象 库 内 选择 语言 ， 是 语言 头脑 进 





一 步 发 达 的 重要 时 期 ， 但 6 岁 以 前 ， 幼 儿 仍 是 以 具体 形象 性 的 右 脑 思维 为 主 。 


大 脑 左右 半球 在 功能 上 各 有 分 工 ， 正 确 评价 大 脑 左右 半球 的 功能 ， 


这 使 得 当 大 脑 受到 意 


外 伤害 时 ， 医 学 工作 者 和 有 关 人 员 就 会 通过 其 来 判断 大 脑 损伤 的 部 位 ， 即 到 底 是 大 脑 左 半球 


还 是 大 脑 右 半球 受到 损伤 。 这 样 就 可 以 为 临床 诊断 提供 精确 的 依据 ， 提 高 治疗 效果 。 


2.2.6 左右 脑 协 调 工 作 的 机 理 








大 脑 两 个 半球 的 功能 一 侧 化 和 所 谓 的 优势 概念 都 上 只 具有 相对 的 意义 。 任 何 一 种 心理 活动 
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都 是 双 脑 协调 活动 的 结果 。 双 脑 协调 活动 的 概念 与 功能 的 一 侧 化 不 能 绝对 对 立 。 在 不 同 的 条 
件 下 ， 大 脑 左右 半球 既 相 对 分 工 ， 又 密切 合作 ， 并 且 其 分 工 与 合作 的 情况 与 刺激 的 性 质 、 场 
合 因素 、 人 的 心理 特点 等 都 有 一 定 关系 。 

大 脑 分 左右 两 个 半球 ， 在 神经 传导 的 运作 上 ， 两 半球 相对 的 神经 中 枢 ， 彼 此 配合 ， 发 生 
交叉 作用 : 两 半球 的 运动 区 对 身体 部 位 的 管理 ， 是 左右 交 又 、 上 下 倒置 的 。 左 半 脑 主要 具有 
语言 、 分 析 、 计 算 、 抽 象 、 逻 辑 、 对 时 间 感 觉 等 思维 功能 ， 右 半 脑 具有 表象 、 综 合 、 直 观 、 
音乐 、 对 空间 知觉 和 理解 等 思维 功能 。 在 思考 方式 上 ， 左 半球 是 垂直 的 、 连 续 的 、 因 果 式 
的 ， 右 半球 是 并 行 的 、 发 散 的 、 整 体式 的 。 在 这 两 个 功能 不 同 的 大 脑 半球 之 间 有 2 亿 多 条 神 
经 纤维 束 一 一 胖 腻 休 相 沟通 ， 从 而 使 两 半球 的 功能 互相 配合 、 互 相 补 偿 ， 以 保证 大 脑 功能 的 
高 度 统一 。 

1. 左 、 右 脑 沟 通 的 桥梁 一 一 腾 肽 体 

在 正常 情形 之 下 ， 大 脑 两 半球 的 功能 是 分 aua 

工 合作 的 ， 在 两 半球 之 间 ， 由 神经 纤维 构成 的 . 
DEEE (SLL 2-9) 负责 沟通 两 半球 的 信息 。 MESA 
DEIR Os J ce 2 亿 条 左右 神经 纤维 组 成 的 
“ 束 "， 大 脑 皮层 的 每 一 部 位 都 有 神经 纤维 进 
入 腾 腻 体 ， 以 每 秒 40 亿 个 神经 冲动 的 速度 在 
两 半球 之 间 传 递 信息 。 这 就 使 得 两 半球 总 是 息 
息 相通 、 高 度 统一 协调 ， 构 成 了 一 个 统一 的 控 
制 系统 。 创 造 活动 正 是 在 这 个 统一 的 控制 系统 图 29 PINGS ( 顶 视 ) 
的 基础 上 实现 的 。Sperry 的 研究 表明 ， 腾 且 体 “缺失 ”， 会 降低 人 脑 右 半球 中 专门 化 的 非 膏 
语 和 空间 定位 的 正常 能 力 ， 同 时 左 半 球 的 言语 和 意志 活动 能 力也 会 受到 极 大 的 影响 。Spenry 
认为 ， 左 右 两 半球 处 于 “共生 ”的 整体 之 中 ,在 正常 状态 下 ， 它 们 紧密 结合 如 同 是 一 个 单 
位 进行 工作 ， 而 不 是 一 个 开动 着 ， 另 一 个 闲置 着 。 大 量 的 研究 也 表明 ， 两 半球 在 功能 上 不 仅 
有 分 工 ， 而 且 还 有 一 定 的 互补 能 力 ， 它 们 在 一 些 具体 功能 上 虽然 存在 主 次 之 分 ， 但 都 是 相对 
而 言 的 ， 而 不 是 一 种 “全 或 无 ”的 关系 ; 它们 既 各 司 其 职 ， 又 相互 密切 配合 。 比 如 言语 功 
能 ， 在 词 意 和 连续 性 方面 依赖 于 左 脑 ， 但 其 声调 还 需要 由 右 脑 来 控制 。 因 此 ， 左 右 脑 就 好 比 
是 个 不 同类 型 的 信息 加 工 、 控 制 系统 ， 两 半球 间 存 在 着 密切 的 相辅相成 、 协 调 统一 的 工作 关 
系 。 正 是 由 于 有 屏 胜 体 沟通 左右 两 半球 的 这 一 连接 功能 ， 才 会 有 大 脑 两 半球 的 协同 合作 ， 才 
会 形成 既 具 有 抽象 的 性 质 ， 又 具有 形象 特征 的 “顿悟 ”或 “灵感 "， 才 能 保证 人 类 创造 得 以 
成 功 。 创 造 活动 离 不 开 左右 脑 两 半球 的 沟通 ， 它 是 大 脑 左右 两 半球 的 整体 功能 ， 是 整个 大 及 
的 整合 作用 。 

2. AY aia 

近来 的 脑 科 学 研究 成 果 证 明 ， 右 半球 在 很 多 方面 明显 优 于 左 半球 。 人 类 许多 较 高 级 的 认 
知 功能 ， 如 具体 思维 能 力 、 空 间 认 知 能 力 以 及 对 复杂 关系 的 理解 能 力 等 ， 都 集中 在 右 半球 。 
右 半球 与 人 类 的 创造 活动 也 有 密切 联系 ， 因 为 在 创造 过 程 中 起 重要 作用 的 想象 、 直 觉 和 整体 
综合 等 都 是 右 半球 的 功能 。 

科学 家 指出 ， 强 调 右 半球 的 功能 ， 绝 不 是 贬低 左 半球 的 作用 。 事 实 上 ， 在 人 类 的 一 切 活 
动 中 ， 只 有 大 脑 左 右 两 半球 的 功能 平衡 发 展 ， 人 的 创造 力 才能 得 到 最 好 的 发 挥 。 实 践 证 明 ， 
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许多 具有 高 度 创造 才 能 的 人 ， 不 仅 大 脑 左 半球 发 达 ， 右 半球 也 特别 发 达 ， 而 且 两 者 的 活动 十 
分 和 谐 。 这 使 得 他 们 既 善于 抽象 分 析 ， 又 善于 具体 综合 ， 并 具有 丰富 的 想象 力 。 


2.3 事件 相关 脑 电位 在 脑 科 学 研究 中 的 作用 


事件 相关 脑 电 位 ( Evenet-Related Brain Potential, ERP) 被 广泛 应 用 于 脑 功能 的 研究 ， 
在 心理 学 、 生 理学 、 认 知 科 学 及 其 他 生命 科学 相关 领域 具有 很 高 的 应 用 价值 。 对 于 人 工 智能 
和 人 工 心理 研究 领域 也 是 一 种 重要 的 研究 手段 。ERP 是 一 项 无 损伤 性 脑 认 知 成 像 技 术 。 它 
的 定义 是 : 凡是 外 加 一 种 特定 的 刺激 ， 作 用 于 感觉 系统 或 脑 的 某 一 部 位 ， 在 给 予 刺 激 或 撤消 
刺激 时 ， 在 脑 区 所 引起 的 电位 变化 。 这 种 电位 变化 是 人 类 身体 或 心理 活动 与 时 间 相 关 的 脑 电 
活动 ， 可 在 头皮 表面 记录 到 ， 并 以 信号 过 滤 和 和 肢 加 的 方式 从 脑 电 图 (Electroencephalography , 
EEG) 中 分 离 出 来 。ERP 主要 包含 外 源 性 成 分 和 内 源 性 成 分 。 外 源 性 成 分 是 人 脑 对 刺激 产 
生 的 早 成 分 ， 受 刺激 物理 特性 〈 强 度 、 类 型 、 频 率 等 ) 的 影响 ， 如 听觉 P50 和 NI1 、 视 觉 Cl 
和 了 1 等 ; 内 源 性 成 分 与 人 们 的 知 党 或 认 知 心理 加 工 过 程 有 关 ， 也 与 人 们 的 注意 、 记 忆 、 智 
能 等 加 工 过 程 密切 相关 ， 不 受 刺 激 的 物理 特性 的 影响 ， 如 CNV、P300 N400 等 。 内 源 性 成 
分 为 研究 人 类 认 知 过 程 的 大 脑 神经 系统 活动 机 制 提供 了 有 效 的 理论 依据 。 

近年 来 ， 随 着 认 知 神经 科学 人 研究 的 突飞猛进 ，ERP 更 是 受到 脑 科 学 界 更 为 广泛 的 关注 。 
就 认 知 神经 科学 而 言 ， 它 是 侧重 于 研究 认 知 过 程 神经 机 制 的 交叉 学 科 ， 而 ERP 的 优势 正 是 
具有 很 高 的 时 间 分 辨 率 ( 微 秒 ~ 毫秒 ) ， 此 外 ，ERP 便于 与 传统 的 心理 测量 指标 一 一 反应 时 
间 有 机 地 配合 ， 进 行 认 知 过 程 研 究 ， 且 具有 无 创 性 ， 可 以 精确 地 评价 发 生 在 脑 内 的 认 知 加 工 
活动 。 


2.3.1 事件 相关 脑 电位 的 提取 原理 


自发 脑 电 〈 亦 称 自发 电位 ) 与 从 脑 电 图 中 提取 出 的 事件 相关 脑 电 位 ERP; 亦 称 诱发 电 
fii (Evoked Potentials，EP)， 都 可 提供 心理 活动 时 脑 的 实时 信息 。 特 别 是 ERP， 它 可 以 记录 
心理 活动 引起 的 真实 的 脑 电 实时 波形 ， 时 间 分 辩 率 可 精确 至 微 秒 级 ， 是 卓有成效 的 脑 科 学 研 
究 方 法 。 但 是 它 的 空间 分 辨 率 不 够 高 。 正 电子 断层 扫描 (PET) 、 功 能 性 核磁 共振 成 像 (fM- 
RI) 等 是 神经 代谢 测量 技术 ， 它 们 可 提供 心理 活动 相关 脑 组 织 的 精确 定位 ， 空 间 分 辩 率 很 
高 ， 但 是 它们 的 时 间 分 辩 率 不 够 高 。 因 此 , 将 ERP 与 PET 或 fMRI 的 数据 融合 分 析 ， 从 而 得 
到 最 高 时 空 分 辩 率 的 数据 ， 是 洞察 心理 活动 脑 机 制 的 强 有 力 方 法 ， 目 前 已 开始 在 实验 室 实 
施 。 近 年 又 出 现 了 ERP 与 PET 5% (MRI 同时 记录 的 设备 ， 可 进一步 提高 研究 工作 效率 ， 目 前 
尚 处 于 试用 阶段 。 

EEG 的 谐 波 成 分 相当 复杂 ， 只 是 在 偶然 情况 下 才 出 现 正弦 状 波形 。EEG 经 过 技术 处 理 ， 
虽然 可 以 显示 为 二 维 脑 功能 成 像 图 形 , 但 所 观察 到 的 只 是 频率 或 不 同 频段 的 波幅 域 数 值 
(如 功率 谱 等 ) ， 丢 失 了 与 脑 功能 相关 的 时 间 与 波形 特性 ， 在 这 种 经 典 的 自发 电位 频率 简单 
分 析 水 平 上 ， 并 没有 观察 到 脑 的 高 级 功能 活动 所 产生 的 脑 电信 号 本 身 。 脑 的 高 级 功能 活动 所 
产生 的 脑 电 信和 号 通常 比 自发 电位 小 ， 它 被 港 埋 在 自发 电位 中 而 难以 观察 。 采 用 计算 机 等 加 技 
术 可 将 这 种 信号 波形 从 自发 电位 中 提取 出 来 。 图 2-10 显示 EEG 与 听觉 ERP 波形 及 两 者 的 关 
系 。 图 中 ， 上 部 显示 EEG 从 头皮 引出 后 ， 经 过 放大 器 放大 所 直接 获得 的 EEG WE, REM 
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前 ， 刺 激 所 诱发 的 ERP 被 淹 埋 在 EEG 中 而 不 能 观察 到 ， 两 者 构成 小 信号 与 大 噪声 的 关系 。 

为 了 从 EEG 中 提取 出 ERP， 需 对 被 试 者 施 以 多 次 重复 刺激 “S”。 将 每 次 刺激 产生 的 含 
有 ERP 的 EEG 加 以 三 加 与 平均 。 由 于 作为 ERP 背景 的 EEG 波形 与 刺激 间 无 固定 的 关系 ， 
而 其 中 所 含 的 ERP 波形 在 每 次 刺激 后 是 相同 的 ， 且 ERP 波形 与 刺激 间 的 时 间 间 隔 (潜伏 
期 ) 是 固定 的 ， Ante, ERP 与 合 加 次 数 成 比例 地 增 大 ， 而 EEG 则 按 随 机 噪声 至 加 。 若 
刺激 次 数 为 n， 则 生 加 nn 次 后 ERP Hn i, mM EEG RIAK Vn 倍 ， 信 噪 比 提高 Vn 倍 。 若 
AY ERP 波幅 为 EEG 波幅 的 1/2, ERP WEHE EEG 中 难以 观察 ， 经 过 100 KEME, 
ERP 增加 100 倍 ，EEG 增加 10 倍 ， 闪 加 后 的 ERP 波幅 是 EEG 的 5 倍 ， 于 是 ERP 就 从 EEG 
背景 中 浮现 出 来 了 。 针 加 后 的 ERP 数值 除 以 全 加 次 数 ， 其 平均 值 即 还 原 为 一 次 刺激 的 ERP 
数值 ， 因 此 ，ERP 又 称 为 平均 诱发 电位 。 通 党 所谓 的 “平均 ”实际 就 意味 着 是 到 加 后 的 平 
均 。 这 就 是 提取 ERP 的 基本 原理 。 

ERP 含有 一 系列 正 波 与 负 波 ， 
它们 对 可 依 刺激 通道 分 为 听觉 
ERP、 视 觉 ERP 和 体感 觉 ERP 等 ; 
可 依 潜伏 期 分 为 时 成分、 中 成 分 、 
晚 成 分 和 慢 波 ;， 可 依 刺激 性 质 分 为 
外 源 性 ( 即 生理 性 ) 与 内 源 性 
( 即 心理 性 ) 成 分 。 以 听觉 ERP 为 
例 ， 其 早 成 分 、 中 成 分 、 晚 成 分 和 
慢 波 的 潜伏 期 范围 分 别 为 10ms 以 p oii 
































内 、10 ~ 50ms, 51 ~ 500ms 和 +suv! p <i AAO 
500ms 以 上 。 时 成 分 是 由 脑 干 产生 t/ms 
的 ， 中 成 分 是 由 初级 感觉 皮质 产生 图 2-10 EEG 与 听觉 ERP 波形 及 其 关系 示意 图 


的 ， 晚 成 分 和 慢 波 一 般 认为 是 由 次 
级 感觉 皮质 及 其 以 后 的 神经 活动 产生 的 。 图 2-10 所 示 的 下 部 即 为 听觉 RRP 早 成 分 ( 工 ~ 
开 ) 、 中 成 分 (NO、P0、Na、Pa、Nb) 、 晚 成 分 (P1, N1, P2, N2, P3) ANB (SW) 的 
示意 图 。 在 实际 工作 中 ， 可 以 以 波 的 极 性 字母 和 峰 潜伏 期 数值 命名 ， 例 如 ，P300 表示 在 刺 
激 后 300ms 左右 达到 峰值 的 正 波 ，N27 表示 在 刺激 后 27ms 左右 达到 峰值 的 负 波 。 外 源 性 成 
分 的 潜伏 期 和 波幅 是 由 刺激 的 物理 属性 (例如 刺激 强度 和 刺激 速度 等 ) 决定 的 。 内 源 性 成 
分 的 潜伏 期 和 波幅 是 由 心理 因素 决定 的 。 早 成 分 和 中 成 分 属于 外 源 性 成 分 ， 一 般 的 晚 成 分 和 
慢 波 属于 内 源 性 成 分 。 外 源 性 成 分 可 以 不 受 心理 因素 的 影响 。 内 源 性 成 分 对 任务 的 认 知 功能 
敏感 。 例 如 ，P300 与 注意 相关 ， 伴 随 性 负 变 化 (Contingent Negative Variation, CNV) 与 心 
理 负荷 有 关 ， 运 动 预 备 电 位 是 运动 发 生前 的 意 动 的 产物 ，N400 则 是 语言 加 工 所 产生 的 。 心 
理 因素 不 但 可 以 决定 内 源 性 成 分 的 潜伏 期 和 波幅 ， 而 且 可 以 决定 其 头皮 分 布 。 

关于 经 典 EEG 节律 形成 的 机 制 ， 目 前 一 般 认 为 ， 主 要 是 由 皮质 大 量 神经 组 织 的 突 触 后 
电位 同步 总 和 所 形成 的 。 这 就 是 说 ， 电 位 主要 来 自 突 触 后 电位 变化 ， 即 胞 体 和 树 突 的 电位 变 
化 。 对 于 EEG 的 主要 节律 来 说 ， 轴 突 的 动作 电位 变化 过 快 ， 难 以 形成 为 EEG 的 主要 成 分 。 
由 于 单个 神经 元 的 电 活 动 过 于 微小 ， 实 际 上 只 有 神经 元 群 的 同步 电位 才 可 以 被 记录 到 。 其 
中 ， 茶 些 同步 化 作用 来 自 丘 脑 非特 异 投射 系统 。ERP 则 与 EEG 不 同 ， 除 了 皮质 突 触 后 电位 
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以 外 ,还 含有 皮质 下 组 织 活动 及 轴 突 动作 电位 成 分 。 无 创伤 的 EEG 与 ERP 记录 不 能 精确 确 
定 其 脑 内 信号 发 生源 的 位 置 。 偶 极 子 的 数学 推导 、 手 术 中 的 颅 内 记录 、 脑 损伤 或 脑 局 部 切除 
术 患 者 的 颅 外 记录 、 动 物 模 型 等 方法 ， 可 得 到 EEG 与 ERP 脑 内 源 空间 定位 的 较为 可 靠 的 资 
料 ， 从 而 弥补 无 创伤 EEG 与 ERP 记录 在 定位 上 的 不 足 。 

只 有 偶 极 子 源 具 有 开放 式 电场 ， 才 能 被 远 距 离 记 录 到 。 简 单 地 说 ， 当 脑 组 织 中 神经 元 的 
排列 方向 一 臻 时， 例如 皮质 第 三 、 五 层 的 锥 体 细胞 ， 其 同步 发 放 所 形成 的 电场 即 是 开放 式 电 
场 ， 此 时 神经 元 电场 相 加 总 合 ， 可 在 颅 外 记录 到 相应 的 电位 。 当 缺乏 上 述 清楚 的 局 部 神经 元 
解剖 学 基础 时 ， 例 如 内 侧 丘 核 ， 则 产生 封闭 式 电场 。 此 时 ， 神 经 元 虽 可 同步 发 放 ， 但 局 域外 
电场 方向 不 能 一 致 ， 互 相抵 消 ， 偶 极 子 电场 不 能 总 合 ， 远 距离 处 则 不 能 记录 到 有 关 的 电位 。 

记录 点 与 活动 神经 元 源 的 距离 是 影响 头皮 电位 强 弱 的 主要 因素 。 头 皮 电 位 的 颅 内 神经 元 
发 生 器 ( 源 ) 可 分 为 近 场 源 与 远 场 源 两 类 。 初 级 体感 诱发 电位 产生 于 中 央 后 回 ， 是 近 场 源 
的 例子 。 其 神经 元 源 位 于 半球 表面 ， 头 皮 电 场 较 强 ， 波 幅 最 高 处 位 于 顶部 电极 点 ， 恰 在 中 央 
后 回 之 处 。 典 型 的 远 场 源 例子 是 脑 干 听觉 诱发 电位 (BAEP). BAEP 的 脑 内 源 包括 从 第 亚 对 
脑 神经 到 下 丘脑 的 一 系列 脑 干 结构 。 这 些 脑 内 源 与 头皮 距离 颇 远 ， 其 偶 极 子 电场 强度 在 头皮 
上 很 弱 ， 所 记录 到 的 BAEP 波幅 也 就 很 小 。 


2.3.2 事件 相关 脑 电位 在 认 知 科 学 与 脑 科学 研究 中 的 重要 作用 


HAJ, ERP/EEG 的 研究 已 经 深入 到 心理 学 、 生 理学 、 医 学 、 神 经 科学 、 人 工 智 能 等 多 
个 领域 ， 发 现 了 许多 与 认 知 活动 过 程 密切 相关 的 成 分 。 例 如 ， 英 国 神经 生理 学 家 Walter 等 
首次 报道 的 CNV， 与 人 脑 对 时 间 的 期 待 、 动 作 准 备 、 定 向 、 注 意 等 心理 活动 密切 相关 ; Sut- 
ton 等 在 识别 不 同 声 调 时 记录 到 一 个 潜伏 期 约 300ms 的 正 波 (P300) ， 大 量 研究 结果 表明 ， 
P300 是 与 注意 、 辨 认 、 决 策 、 记 忆 等 认 知 功能 有 关 的 ERP 成 分 ， 现在 已 广泛 应 用 于 心理 
学 、 医 学 、 测 谎 等 领域 ，Nanttanen 等 采用 相 减 的 方法 首先 提取 出 失 匹 配 负 波 (Mismatch 
Negativity, MMN) 和 加 工 负 波 (Processing Negativity，PN)， 并 提出 了 注意 的 脑 机 制 模型 和 
记忆 痕迹 理论 ， 成 为 近年 注意 研究 的 前 沿 问题 ，Kutas 和 Hillyard 首先 观察 到 反映 语义 认 知 
加 工 过 程 的 N400， 围 绕 N400 的 一 系列 研究 ,促进 了 对 人 脑 语言 加 工 脑 机 制 的 认识 ,而 且 
N400 的 发 现 不 仅 在 于 使 ERP 增加 了 一 个 具有 特定 意义 的 成 分 ， 扩 大 了 ERP 的 研究 范围 ， 重 
要 的 是 将 ERP 成 功 地 运用 到 了 语言 心理 学 ， 给 语言 心理 学 注入 了 新 的 活力 ， 使 探讨 语言 加 
工 的 脑 机 制 成 为 可 能 。 

下 面 仅 就 与 无 意识 加 工 、 注 意 、 面 孔 / 表 情 识别 、 情 绪 加 工 领域 的 ERP 研究 进行 简要 表 
述 ， 从 而 可 以 清楚 地 看 到 ERP 在 认 知 科学 与 脑 科 学 研究 中 的 重要 价值 。 

1. MMN 是 研究 大 脑 信息 自动 加 工 的 可 靠 的 客观 指标 

脑 的 信息 自动 加 工 亦 称 “ 脑 的 自动 加 工 ”“ 脑 对 信息 的 自动 加 工 ”， 它 长 期 被 实验 科学 
所 忽视 ， 然 而 它 是 一 种 普遍 存在 的 现象 。 如 人 的 行为 受到 脑 的 控制 ， 是 脑 功能 的 表现 ， 行 为 
自动 化 是 脑 的 信息 自动 加 工 的 结果 。 

MMN 于 1978 年 为 Nanttanen 等 首先 报道 。 其 中 的 一 个 典型 实验 范式 是 ， 令 被 试 者 双 耳 
分 听 ， 即 只 注意 一 只 耳 条 的 声音 ， 而 不 注意 男 一 只 耳 打 的 声音 。 结 果 无 论 注意 耳 打 还 是 非 注 
意 耳 打 ， 偏 差 刺激 (小 概率 出 现 的 纯音 ， 如 1008Hz) 均 比 标准 刺激 (大 概率 的 纯音 ， 如 
1000Hz) 引起 更 高 的 负 波 。 偏 差 刺激 与 标准 刺激 的 差异 波 中 约 有 100 ~ 250ms 之 间 的 明显 的 
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负 波 ， 即 为 失 匹 配 负 波 。 由 于 偏差 刺激 出 现 的 概率 很 小 ， 且 与 标准 刺激 差异 甚 小 ， 因 此 在 由 
标准 刺激 和 偏差 刺激 组 成 的 一 系列 刺激 中 ， 偏 差 刺激 乃 是 标准 刺激 的 一 种 变化 ， 偏 差 刺 激 引 
起 的 差异 波 MMN 就 是 该 变化 的 反映 。 由 于 这 一 刺激 变化 可 以 在 非 注意 条 件 下 产生 ( 即 在 被 
试 者 非 意识 的 条 件 下 产生 ) ，MMN 反映 了 脑 对 信息 的 自动 加 工 。 

脑 对 信息 的 自动 加 工 能 力 是 脑 的 一 种 奇特 的 高 级 功能 ， 对 人 类 具有 重要 价值 。MMN 的 
发 现 为 脑 的 信息 自动 加 工 提供 了 难得 的 客观 指标 ， 由 此 不 但 客观 地 、 物 质地 证 实 了 人 脑 信息 
自动 加 工 的 存在 ， 而 且 可 以 利用 MMN 研究 一 些 困难 而 重大 的 问题 ， 如 人 脑 自 动 加 工 的 广 
度 、 深 度 和 脑 机 制 等 。 这 是 当前 人 工 智 能 、 生 命 科 学 等 众多 学 科 均 待 解决 的 问题 。 研 究 表 
HH, MMN 的 脑 内 源 有 两 处 : 一 处 为 感觉 皮质 ， 男 一 处 为 额 叶 。MMN 可 以 反映 出 感觉 阀 限 附 
近 的 外 界 变化 ， 足 见 人 脑 自 动 加 工 的 精细 ，MMN 是 多 么 灵敏 。 

关于 MMN 的 研究 结果 将 生命 科学 的 研究 引 人 到 了 非 意识 的 深奥 领域 ， 使 认 知 与 脑 科 学 
提高 到 了 一 个 新 的 水 平 。 此 外 ， 在 无 意识 、 不 能 取得 主诉 (如 患者 为 婴儿 或 处 于 展 迷 状态 
等 )， 给 疾病 的 诊断 带 来 困难 时 ，MMN 可 以 发 挥 独特 的 诊断 作用 。 

我 国学 者 魏 景 汉 等 在 前 人 研究 的 基础 上 ， 创 建 了 新 的 研究 MMN 的 实验 模式 一 一 “ 跨 视 
听 通 道 延 迟 反应 ”( 见 图 2-11 ) 。 该 模式 已 得 到 国际 认可 ， 从 而 使 MMN 的 研究 更 为 可 靠 ， 更 
有 说 服 力 ， 亦 更 为 深入 。 
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图 2-11 由 跨 视听 通道 延迟 反应 得 到 的 MMN 


2. 注意 研究 中 的 早期 ERP 注意 效应 和 PBa 成 分 

注意 问题 作为 心理 活动 的 调节 机 制 ， 在 近代 心理 学 发 展 的 初期 就 已 经 受到 重视 ，James 
(1890 年 ) 兽 定 义 道 :“ 注 意 的 实质 是 意识 的 集中 ”。 注 意 是 脑 的 高 级 功能 研究 中 的 一 个 重 
要 问题 。 注 意 是 意识 的 一 个 属性 ， 是 心理 活动 对 一 定 事物 的 指向 与 集中 。 心 理 活 动 的 指向 性 
是 由 脑 对 信息 的 过 滤 或 选择 功能 实现 的 。 人 类 生活 环境 中 的 事物 在 不 断 变化 ， 这 些 信 息 都 作 
用 于 人 的 感官 。 可 是 难以 同时 对 多 件 事 物 进行 意识 加 工 ， 所 知觉 的 只 是 其 中 的 少数 信息 ， 说 
明正 常人 脑 是 在 不 断 地 对 这 些 信息 自动 进行 选择 ， 以 保证 只 有 有 用 的 信息 进入 意识 ， 做 进 一 
步 加 工 。 注 意 的 选择 性 是 一 种 在 意识 加 工 前 阻止 无 用 信息 进入 意识 的 能 力 。 注 意 是 保证 心理 
活动 正常 进行 的 基本 功能 ， 注 意 功能 障碍 将 导致 其 他 一 系列 脑 的 高 级 功能 障碍 。 
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认 知 科学 关于 注意 的 研究 可 以 分 为 两 个 方面 : 一 是 关于 注意 选择 性 发 生 的 时 程 问 题 ， 即 
早 选择 与 晚 选择 的 理论 之 争 ; 另 一 是 关于 注意 的 选择 性 与 集中 性 的 脑 机 制 问 题 。 传 统 心 理学 
由 于 方法 学 (反应 时 和 错误 率 ) 的 局 限 ， 对 注意 的 研究 难以 提供 有 充分 说 服 力 的 证 据 ，ERP 
比 传统 心理 学 指标 揭示 的 认 知 过 程 更 加 明确 : 分 析 其 潜伏 期 ， 可 以 估计 加 工事 件 的 时 间 进 
fe; 分 析 其 波幅 ， 可 以 估计 信息 加 工时 的 心理 过 程 强 度 ; 分 析 其 头皮 分 布 ， 可 以 估计 对 刺激 
加 工 起 作用 的 脑 内 源 。ERP 研究 在 早 选择 与 晚 选择 的 理论 之 争 及 关于 感觉 输入 信息 的 抑制 、 
注意 保持 、 对 新 异 刺激 的 觉察 等 注意 诸 方 面 都 做 出 了 重要 贡献 。 

(1) 早期 ERP 注意 效应 ”听觉 选择 注意 的 ERP 研究 中 ，Hillyard 等 用 双 耳 分 听 的 实验 模 
式 ， 在 选择 性 地 注意 某 一 耳 信号 的 过 程 中 记录 到 一 个 增 大 的 负 波 N1， 即 “NI 注意 效应 ”。 
该 工作 创造 性 地 记录 到 了 注意 通道 与 非 注 意 通 道 的 ERP， 在 选择 性 注意 的 ERP 研究 中 具有 
很 大 的 影响 。 其 后 ，Woldorff 和 Hillyard 进行 系统 研究 发 现 ， 听 觉 脑 干 诱发 电位 成 分 不 受 注 
意 的 影响 ， 而 中 洪 伏 期 成 分 (P20-50， 刺 激 后 20 ~50ms) 则 表现 出 明显 的 注意 效应 。 目 前 
认为 P20-50 是 最 早 受 注意 影响 的 成 分 。 通 过 多 导 ERP 记录 的 脑 成 像 及 脑 磁 图 的 研究 表明 ， 
P20-50 发 生 在 听 皮 质 (包括 初级 听 皮 质 )， 说 明 P20-50 发 生 在 听觉 信息 加 工 的 早期 阶段 ， 
是 支持 注意 选择 性 发 生 在 加 工 早期 的 有 利 证 据 。 

对 视觉 ERP 研究 发 现 ， 反 映 初 级 视 皮 质 ( 纹 状 皮质 ) 活动 的 潜伏 期 50 ~70ms 的 C1 成 
分 不 受 注 意 的 影响 ， 而 头皮 后 部 的 Pl 和 NI 则 受 注意 的 显著 影响 ， 表 现 为 幅 值 的 增强 。 基 
于 Pl 的 发 生源 在 外 侧 纹 状 皮质 ， 目 前 一 般 认 为 ， 当 视觉 信号 从 纹 状 皮质 传导 到 周围 的 外 侧 
纹 状 皮质 时 才 开 始 受到 注意 影响 ， 此 时 约 为 刺激 后 100ms。 

(2) 非 随意 注意 的 脑 机 制 一 一 P3a P300 的 发 现 倍 受 关注 。 其 中 ， 新 异 刺激 引起 的 P300 
称 为 PBa。P3a 的 光伏 期 较 短 ， 头 皮 分布 较 广泛 ， 最 大 波幅 位 于 额 叶 后 部 ， 比 PBb (反映 了 
注意 过 程 ) 明显 靠 前 。 新 异 刺激 不 是 一 般 的 刺激 或 环境 变化 ， 而 是 一 种 未 预料 到 的 突然 的 
刺激 ， 它 以 产生 朝向 反应 为 特征 。 朝 向 反应 的 本 质 是 一 种 非 随意 注意 ， 其 注意 对 象 原本 不 是 
心理 活动 的 指向 者 ， 只 是 由 于 突 发 刺激 具有 足够 的 强度 和 新 异性 ， 心 理 活动 被 动 地 被 它 吸 引 
了 过 去 ， 这 种 心理 活动 的 指向 性 不 是 随意 的 、 主 观 不 能 控制 的 。 朝 向 反应 把 非 注意 对 象 变 成 
了 瞬间 注意 的 对 象 ， 如 果 这 一 对 象 是 有 意义 的 ， 则 再 进一步 加 工 。 可 见 ， 朝 向 反应 能 使 机 体 
觉 知 与 应 对 不 测 事件 ， 使 之 优先 进入 认 知 加 工 ， 对 机 体 具有 重要 的 保护 意义 。 现 已 公认 P3a 
是 朝向 反应 的 主要 标志 。 

基于 以 上 所 述 ，ERP 为 意识 的 研究 提供 了 客观 指标 。 注 意 不 等 于 意识 ， 对 浆 下 刺激 的 
注意 不 能 引起 意识 ， 但 注意 可 以 提高 意识 水 平 ， 意 识 水 平 的 提高 也 可 以 增强 注意 强度 ， 意 识 
可 以 用 注意 作 窗口 进行 观察 。 作 为 新 异性 刺激 引起 的 一 种 反射 活动 ， 朝 向 反应 的 过 程 是 刺激 
物 获得 注意 资源 的 过 程 ， 是 非 注 意向 注意 转化 的 过 程 、 注 意 开启 的 过 程 ， 属 于 非 意 识 向 意识 
转化 的 过 程 ， 因 此 可 以 作为 实验 性 地 人 研究 意识 转化 的 开始 点 。 而 目前 已 知 与 朝向 反应 相关 的 
ERP 成 分 包括 NI (反映 刺激 的 新 异性 ， 可 以 引起 朝向 反应 ) 、MMN (反映 偏差 刺激 被 自动 
加 工 ) 、P3a (反映 朝向 反应 出 现 ， 注 意 开 启 完成 )， 通 过 不 同性 质 的 外 界 刺激 所 引起 的 注意 
开启 的 ERP 异同 ， 考 察 是 否 激 活 不 同 的 自动 加 工 机 构 ， 即 可 观察 非 意 识 向 意识 转化 的 脑 活 
动机 制 。 

3. 面孔 识别 和 表情 特征 分 析 的 ERP 成 分 

面孔 是 一 种 内 容 非常 丰富 的 非 语 言 刺 激 ， 可 提供 性 别 、 年 龄 、 表 情 和 个 体 识别 特征 等 信 
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息 。 面 孔 识 别 比 物体 识别 在 人 类 的 生长 发 育 过 程 中 发 展 得 更 早 ， 人 类 刚 一 出 生 就 倾向 于 将 面 
孔 与 其 他 物体 区 别 开 来 。 面 孔 识 别 是 人 类 社会 生活 中 的 一 项 重要 功能 ， 对 模式 识别 、 计 算 科 
学 、 人 工 智 能 等 应 用 基础 研究 ， 对 脑 损伤 及 阿 效 海 默 症 病 人 面孔 记忆 的 缺失 原理 的 研究 以 及 
临床 应 用 等 均 有 重要 的 意义 。ERP 技术 的 应 用 为 面孔 识别 的 研究 开创 了 新 的 纪元 。 

Bruce 和 Young 基于 脑 损伤 的 病人 提出 面部 表情 的 加 工 独 立 于 最 初 对 面孔 的 感知 加 工 
(主要 完成 对 面孔 的 结构 编码 ) 。 由 于 ERP 的 高 时 间 分 辨 率 ， 有 利于 研究 面孔 加 工 的 时 间 特 
点 、 验 证 面孔 感知 加 工 和 表情 加 工 的 时 间 过 程 。 

到 目前 为 止 ,普遍 认为 枕 杜 区 的 N170 是 反映 面孔 特异 性 的 ERP 成 分 ( 面孔 加 工 比 对 其 他 
客体 加 工 诱发 更 大 的 负 波 ,在 刺激 呈现 后 170ms 左右 达到 峰值 ) ,这 个 成 分 反映 了 面孔 识别 的 
早期 感知 加 工 。 另 外 ,除了 N170 ,还 有 项 正 电 位 (Vertex Positive Potential, VPP) , VPP 的 潜伏 期 
为 刺激 呈现 后 150 ~200ms, 顶 区 -中 央 区 分 布 ,也 反映 了 面孔 识别 的 感知 阶段 的 加 工 。 

面孔 加 工 的 另 一 个 重要 问题 是 表情 加 工 问题 。 许 多 研究 者 发 现 ， 对 情绪 刺激 进行 加 工 能 
引起 一 个 晚期 正成 分 (Late Positive Component，LPC) ， 与 中 性 表情 相 比 ， 有 情绪 的 面部 表 
情 能 引起 ERP 更 大 的 正成 分 ,并 且 晚 期 正成 分 受 面孔 情绪 强度 的 影响 。Orozco 等 发 现 与 高 兴 
的 面孔 相 比 ,悲伤 面孔 能 引起 更 大 的 LPC ,认为 这 是 由 于 悲伤 面孔 的 情绪 强度 比 愉快 面孔 的 情 
绪 强 度 大 。 赵 仓 等 (2004 年 ) 利 用 表情 特征 更 为 明显 的 卡通 脸 图 进行 的 ERP 研究 发 现 ,对 表 
情 分 类 引起 明显 的 中 央 顶 区 分 布 的 表情 加 工 晚 成 分 Pd ,该 成 分 的 潜伏 期 和 幅 值 受 表情 特征 类 
型 的 影响 (愤怒 面孔 的 Pd 潜伏 期 最 短 、 幅 值 最 大 ,微笑 面孔 的 Pd 潜伏 期 最 长 \ 幅 值 最 小 ) 。 

4. 情绪 的 ERP 研究 

情绪 (Emotion) 是 指 人 类 个 体 受到 某 种 刺激 所 产生 的 一 种 身心 激动 状态 ， 是 情感 的 外 
部 表现 ， 它 的 产生 不 是 自发 的 ， 而 是 由 内 部 或 外 在 的 刺激 引起 的 。 在 心理 学 研究 中 ， 情 绪 比 
一 般 的 认 知 活动 更 为 复杂 ， 更 多 地 涉及 社会 环境 与 文化 。 大 量 实验 证 明 ，ERP 可 以 敏感 地 
反映 出 情绪 活动 在 脑 内 的 活动 过 程 。 

我 国学 者 魏 景 汉 实 验 成 功 了 研究 情绪 的 独特 的 ERP 实验 研究 方法 ， 即 “猜测 CNV 实验 
模式 ”， 使 关于 人 类 情绪 性 质 的 ERP 人 研究 得 以 开展 起 来 。 正 情绪 使 心理 负荷 解脱 波 (Extri- 
cation of Mental Load, EML) 波幅 增高 、 潜 伏 期 缩短 ， 负 人 情绪 则 产生 相反 的 变化 。 

研究 表明 ， 中 性 情绪 和 负 性 情绪 (愤怒 、 莫 伤 等 ) 对 引发 听觉 P300 起 正 性 作用 ， 而 愉 
快 等 正 性 情绪 对 听觉 P300 则 起 负 性 作用 ; 也 有 研究 发 现 ， 情 绪 面 也 图 像 诱发 出 明显 的 枕 部 
N270 成 分 ， 验 证 了 “情绪 信号 促进 刺激 的 早期 视觉 信息 处 理 过 程 ”的 假说 。 

对 用 不 同情 绪 色 彩 的 词汇 产生 的 ERP 研究 表明 : P2 反映 对 情绪 重要 性 的 一 般 评价 过 
程 ，P3 反映 与 任务 相关 的 决策 ， 正 慢 波 (SPW) 则 反映 个 体 在 既往 情绪 经 验 基础 上 做 出 的 
控制 决定 。 

在 记忆 试验 中 ， 负 性 和 正 性 情绪 单词 较 中 性 情绪 单词 的 ERP 新 旧 效 应 显著 加 强 ， 表 明 
单词 的 情绪 成 分 对 语义 记忆 过 程 有 显著 影响 。 

认 知 、 运 动 和 情感 三 个 功能 系统 分 别 对 觉醒 状态 的 体验 起 到 特定 作用 ， 并 通过 三 个 系统 
在 前 额 叶 皮质 整合 后 发 出 的 一 致 行为 来 维持 觉醒 状态 。 通 过 研究 不 同 ERP 成 分 与 情绪 刺激 
处 理 过 程 中 特定 中 间 程 序 的 联系 ， 可 以 阐明 情绪 认 知 过 程 及 对 情绪 认 知 活动 中 神经 基础 的 准 
确定 位 。 

另外 , 尽管 ERP 可 以 很 好 地 研究 认 知 过 程 ， 但 并 不 排除 其 在 脑 功能 状态 评定 中 的 重要 
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价值 。ERP 采用 心理 和 生理 指标 相 结合 的 测试 方法 ， 不 仅 可 以 给 出 信息 输入 与 行为 输出 之 
间 加 工 过 程 的 信息 ， 而 且 也 可 以 得 到 ERP 各 成 分 的 潜伏 期 与 幅 值 及 其 在 头皮 的 分 布 ， 揭 示 
神经 细胞 群 活动 机 理 ， 从 而 更 准确 有 效 地 评价 其 功能 状态 。 目 前 ，ERP 已 用 于 多 种 作业 的 
工作 负荷 的 评定 ， 在 脑 功能 康复 治疗 、 神 经 精神 医学 、 运 动 医学 、 军 事 医学 等 多 方面 具有 重 
要 的 不 可 替代 的 作用 。 

总 之 ,利用 ERP 提供 的 时 空 信息 可 以 用 于 许多 不 同 的 研究 工作 ， 包 括 对 大 脑 奥秘 的 探 
索 、 脑 机 制 的 了 解 等 。 


2.4 脑 机 接口 (BCI) 技术 

















2.4.1 BCI 技术 概述 


近年 来 ， 一 种 基于 人 脑 信号 的 控制 系统 正在 兴起 ， 愈 来 愈 引 起 人 们 的 关注 。 与 通常 的 控 
制 系统 不 同 ， 这 种 控制 系统 直接 以 人 脑 信号 为 基础 ， 通 过 脑 机 接口 ( Brain-Computer Inter- 
face, BCI) 技术 来 实现 控制 。 

如 图 2-12 所 示 ，BCI 是 通过 戴 在 人 头顶 的 测量 电极 获取 人 脑 活动 信号 、 经 过 预 处 理 、 
特征 提取 等 过 程 ， 再 进行 分 类 ， 转 化 为 控制 信号 ， 提 交 给 外 部 设备 或 者 反馈 给 本 人 。 
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Al2-12 BCI 的 基本 框图 














BCI 是 一 种 可 以 让 用 户 通 过 思想 来 控制 特殊 的 计算 机 设备 的 通信 方式 。 目 前 大 部 分 的 实 
现 都 是 基于 EEG 记录 。EEG 是 测量 、 分 类 人 想象 时 的 不 同 信号 。 通 过 BCI 技术 ， 能 够 监测 
出 不 同 EEG 信号 对 应 的 特定 任务 ， 用 来 控制 外 部 设备 。 

目前 ， 许 多 国家 的 实验 室 开 始 探索 和 开发 BCI 技术 ， 这 项 技术 是 为 帮助 那些 因 神 经 肌 
肉 损伤 而 行动 受到 阻碍 的 人 (如 肌肉 萎缩 、 中 枢 神 经 系统 损伤 、 重 度 中 风 的 病人 等 )， 使 他 
们 不 需要 依靠 周围 的 神经 和 肌肉 ， 只 利用 脑 部 的 信号 ， 来 达到 与 外 界 沟通 ,传递 信息 ， 自 主 
活动 ， 以 及 自我 照顾 等 目的 。 而 这 项 技术 的 基础 是 ， 当 大 脑 活动 时 ， 会 产生 特定 的 脑 波 变 
化 ， 由 此 可 以 利用 EEG 对 脑 波 进行 检测 与 辨别 ， 进 而 控制 仪 右 或 进行 交互 。BCI 技术 的 发 
展 ， 不 但 能 够 节省 社会 负担 ,减轻 病人 及 其 家 庭 的 痛 苗 ， 还 能 让 病人 独立 行动 ， 建 立 患者 与 
外 界 的 沟通 桥梁 ， 提 高 病人 的 生活 品质 ， 有 着 很 大 的 经 济 效益 和 社会 效益 。 目 前 ，BCI 技术 
已 经 引起 了 世界 上 很 多 国家 的 充分 重视 ， 特 别 是 计算 机 技术 在 全 世界 领先 的 美国 ， 投 入 了 巨 
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大 的 人 力 物力 ， 并 且 也 取得 了 很 大 进展 。 最 近 由 美国 科学 家 研制 的 “思考 帽子 ” (Thinking 
Cap) 已 经 可 以 直接 用 人 的 思想 控制 计算 机 。 而 BCI 技术 的 全 面 成 熟 则 有 赖 于 广泛 的 多 学 科 
合作 ， 需 要 神经 学 科学 家 、 工 程 师 、 心 理学 家 、 软 件 专 家 和 行为 学 专家 的 通力 合作 。 


2.4.2 BCI 技术 的 发 展 历 史 


自从 1929 年 汉 斯 . 伯 格 发 明 EEG 之 后 ， 人 们 就 开始 思索 能 否 通过 这 个 神奇 的 发 明 让 大 
脑 不 借助 任何 其 他 媒介 (包括 神经 和 肌肉 ) 来 直接 进行 沟通 交互 和 设备 控制 。 到 了 20 世纪 
70 年 代 ， 有 一 些 科 学 家 已 经 开发 出 一 种 利用 由 头 部 的 电 活动 记录 控制 的 简单 交互 系统 。 而 
美国 国防 部 高 级 研究 计划 局 (Advanced Research Project Agency, ARPA) 在 大 力 开 发 国际 互 
联网 的 同时 ， 也 对 这 项 能 为 人 和 计算 机 提供 更 “亲密 接触 ”机 会 的 技术 产生 了 浓厚 的 兴 
其 中 值得 一 提 的 是 ， 为 了 提高 那些 在 军队 中 因 从 事 高 风险 工作 的 人 的 表现 ， 乔治: 劳伦斯 
(George Lawrence) 教授 提出 并 负责 一 项 开发 生物 反馈 技术 的 研究 。 这 项 研究 并 没有 在 他 预 
期 的 方向 上 取得 多 少 进展 ， 却 在 生物 反馈 本 和 喘 有 了 意外 的 突破 。 一 个 新 的 方向 ， 被 称 为 生物 
控制 论 的 学 科 产 生 了 ， 并 在 接 下 来 的 几 年 中 成 为 仿生 学 研究 的 重点 。 

而 在 生物 控制 论 中 很 重要 的 方向 ， 就 是 评估 将 生物 信号 利用 计算 机 实时 转换 成 电信 和 号， 
进而 帮助 控制 如 汽车 、 武 器 和 其 他 系统 的 可 能 性 。 当 时 在 这 方面 最 有 成 就 的 要 数 由 加 利 福 尼 
亚 大 学 洛杉矶 分 校 的 杰 奎 尔 ' 维 达 (Jacques Vidal) 教授 负责 的 BCI 实验 室 ， 他 的 团队 通过 
计算 机 发 出 的 可 视 化 刺激 和 精密 的 信 叶 过 程 的 实现 ,证 实 了 在 单个 〈 并 非 每 个 ) 试验 中 ， 
可 视 诱 发 电位 (Visual Evoked Potentials, VEP) 能 够 为 人 们 提供 交互 平台 来 控制 在 计算 机 屏 
幕 上 二 维 迷 富 的 移动 光标 。 

这 些 BCI 技术 的 先行 者 们 ， 在 自己 的 早期 工作 中 就 发 现 了 区 别 使 用 肌 电 图 (Electromyo- 
graphic, EMG) FI EEG 进行 系统 控制 的 重要 性 。 坦 率 地 说 ， 在 同一 位 置 上 使 用 EMG 和 EEG 
Hf, EMG 的 表现 更 加 出 色 ， 信 和 号 更 强 ， 更 有 利于 设备 控制 。 甚 至 有 时 候 EMG 可 以 伪装 成 
EEG， 与 后 者 没什么 明显 区 别 。 但 是 正 是 这 种 错觉 ， 阻 碍 了 后 者 的 发 展 ， 也 会 将 BCI 技术 发 
展 引 入 歧途 ， 因 为 以 EEG 为 基础 的 控制 系统 是 不 依靠 肌肉 控制 的 ， 而 这 恰恰 是 EMG 的 致命 
弱点 ， 它 根本 就 不 能 做 到 真正 的 人 脑 和 计算 机 的 通信 。 

基于 EEG 的 BCI 系统 是 目前 脑 机 接口 技术 研究 的 主流 技术 。BCI 技术 发 展 的 首要 目的 
就 是 为 那些 有 严重 行动 障碍 和 小 儿 麻 兽 患 者 ， 提 供 一 种 全 新 的 交互 方式 ， 因 为 其 他 传统 的 交 
互 方式 都 要 借助 各 种 形式 的 肌肉 控制 ， 而 这 些 传统 的 交互 方式 对 那些 有 严重 行动 障碍 的 患者 
是 可 望 而 不 可 及 的 。 

与 其 他 的 交互 控制 系统 相似 ， 一 个 BCI 系统 由 输入 、 输 出 以 及 将 输入 信和 号 转换 成 输出 信 
号 的 脑 电信 和 号 处 理 算法 来 实现 。 目 前 ，BCI AAIE SAY DIK AE HR ASK BE KAS A 
方法 。 非 嵌入 式 使 用 头顶 记录 EEG 或 诱发 电位 ， 而 垦 入 式 使 用 皮层 内 记录 神经 单位 活动 或 
EEG 硬 脑膜 记录 。 

不 同 的 BCI 系统 使 用 不 同 的 脑 电 信号 处 理 算法 ,这 些 算法 可 能 包括 线性 的 和 非 线 性 的 、 
有 关 神 经 网 络 的 或 其 他 的 方法 ， 并 且 将 重要 的 参数 混合 来 理解 输入 信息 。 输 出 信息 包括 光标 
移动 、 字 符 选择 、 图 形 选 择 和 一 些 其 他 的 设备 控制 ， 还 包括 将 信息 反馈 给 患 病 者 ， 使 其 能 与 
外 界 达 到 最 完美 的 交互 效果 。 除 以 上 主要 部 分 外 ， 还 可 能 配 有 开 / 关 、 反 应 时 间 显示 、 速 度 、 
精度 ， 以 及 由 它们 共同 影响 的 脑 电信 号 处 理 率 这 些 参数 等 。 
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1. 不 同 BCI 系统 的 性 能 比较 

不 同 的 BCL 系统 在 其 输入 、 输 出 和 脑 电 信和 号 处 理 算 法 上 都 存在 很 大 的 差异 ， 通 常 比较 两 
个 不 同 的 BCI 系统 是 非常 困难 的 。 因 为 似乎 在 不 同 的 应 用 上 ， 不同 的 BCI 系统 都 有 自己 的 优 
势 ， 但 必须 注意 到 ， 没 有 统一 的 标准 来 衡量 是 不 利于 BCI 技术 发 展 的 。 在 2000 年 第 一 次 召 
开 的 BCI 技术 国际 会 议 上 提出 了 一 个 标准 尺度 比特 率 ， 即 每 个 单位 时 间 内 信息 成 功 传送 的 
数量 。 比 特 率 依靠 的 是 传送 信息 的 速度 和 准确 5c 60 
率 。 结 合 目前 比较 先进 的 BCI 设备 的 现状 ， 绘 制 
出 图 2-13 所 示 的 信息 传递 的 准确 率 和 速度 之 间 的 
关系 ， 此 图 论证 了 在 不 同 的 可 能 选择 个 数 (包括 
2、4、8、16、32 个 ) 范围 内 信息 传递 的 准确 率 
和 速度 之 间 的 关系 。 信 息 传 送 速度 用 单位 次 数 选 
FE (单位 实验 ) 传递 的 比特 数 (biv 次 ) 和 每 分 
钟 传递 的 比特 数 (bit/min) 分 别 表示 。 从 图 中 不 
难 发 现 ， 传 输 速度 越 快 ,传输 准确 率 也 相应 越 
高 。 比 如 当 可 能 选择 为 二 选 一 时 , 如果 想 要 把 准 O a aoo O 
确 率 从 80% 提 高 到 90%， 速 度 就 必须 提高 一 倍 。 
而 如 果 可 能 的 选择 由 两 个 增加 为 四 个 时 ,如 果 想 
保持 与 前 者 一 致 的 传输 速度 ， 就 只 能 以 将 准确 率 
降 到 65% 为 代价 。 应 该 说 ， 比 特 率 还 是 一 个 比较 不 同 BCI 系统 的 一 个 非常 客观 的 参数 。 

信息 传输 率 用 bi 次 和 bit/min 表示 ， 准 确 率 Accuracy H% 表示 ， 并 且 在 可 能 选择 N 分 
别 用 2、4、8、16 、32 表示 。 

2. BCI 的 脑 电信 号 处 理 算法 

脑 电信 和 号 处 理 算法 就 是 把 BCI 获得 的 输入 信号 转换 成 实际 设备 控制 的 一 系列 计算 过 程 。 
任意 的 一 个 脑 电 信和 号 处 理 算法 都 需要 有 三 个 关键 特征 来 划分 : 脑 电 信号 处 理 函 数 、 适 应 能 
和 输出 。 其 中 脑 电 信号 处 理 函数 可 以 是 线性 的 (线性 方程 ) ， 或 非 线性 的 〈 神 经 网 络 ) ; A 
法 可 以 是 适应 的 或 非 适 应 的 ; 适应 算法 可 利用 手动 规律 或 更 精密 的 机 器 算法 。 算 法 的 输出 可 
是 离散 的 或 连续 的 。 不 同 的 现实 世界 应 用 是 这 些 脑 电信 和 号 处 理 算法 不 同 的 根本 原因 。 

目前 大 量 的 BCI 算法 都 是 服务 于 头顶 记录 的 EEG ， 而 这 种 现状 都 是 由 于 EEG 技术 是 目 
前 唯一 可 以 广泛 应 用 的 BCI 技术 。EEG 反映 的 是 众多 神经 皮质 的 整体 活动 ， 如 果 想 把 这 种 
活动 所 抽象 出 的 输入 特征 用 于 有 效 的 沟通 ， 就 必须 有 两 个 以 上 可 分 辨 的 状态 来 反应 使 用 者 的 
意志 。 但 是 ， 随 着 电极 髋 入 技术 的 发 展 ， 现 在 的 算法 将 需要 更 大 的 发 展 。 

但 是 ,不 论 脑 电信 号 处 理 算法 的 本 质 和 计算 能 力 如 何 ， 如 果 不 具备 现实 应 用 价值 ， 它 都 
没有 存在 的 意义 ， 就 像 BCI 控制 光标 活动 的 精确 性 和 速度 只 有 在 具体 的 选择 目标 中 才 有 价 
值 。 虽然 BCI 研究 涉及 的 理论 性 问题 对 脑 科 学 的 探索 是 有 重要 揭示 作用 的 ， 但 真正 能 推动 
BCI 技术 是 它 在 现实 中 对 行动 上 存在 严重 缺陷 的 人 们 的 帮助 。 

为 了 BCI 技术 的 进一步 发 展 ， 需 要 一 种 比较 不 同 算法 的 客观 方法 。 即 使 对 同一 种 应 用 ， 
甚至 同一 个 BCI 系统 ， 想 要 进行 这 种 比较 是 非常 困难 的 。 但 是 ， 如 果 要 采纳 特定 的 应 用 基 
准 、 设 置 一 致 的 数据 ， 或 者 使 用 标准 进程 ， 就 可 以 进行 合理 的 比较 。 由 于 大 脑 适 应 能 力 和 体 
能 差别 ， 脑 电信 号 处 理 算法 的 比较 需要 采用 适当 的 统计 方法 ， 并 将 其 应 用 于 众多 的 用 户 和 相 
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图 2-13 信息 传递 的 准确 率 
和 速度 之 间 的 关系 
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关 的 应 用 中 。 不 同 的 算法 适用 于 不 同 的 应 用 场合 ， 不 见得 一 种 算法 就 能 适用 于 所 有 的 应 用 。 
2.4.3 BCI 技术 的 应 用 领域 


从 20 世纪 40 年 代 以 来 ， 关 于 脑 模型 或 人 工大 脑 的 研究 ， 人 们 已 在 仿生 学 、 人 工 智能 、 
人 工 神 经 网 络 、 模 式 识别 、 超 级 计算 机 等 领域 进行 了 大 量 的 探索 ， 取 得 了 一 系列 研究 成 果 。 
例如 ， 从 感知 机 、 联 想 机 、 认 知 机 、 细 胞 自动 机 到 星 脑 等 ， 都 是 某 种 简化 的 、 局 部 的 人 工大 
脑 模型 。 近 20 年 来 ， 对 人 工大 脑 的 研究 进入 了 一 个 新 的 阶段 ， 尤 其 是 在 欧 、 美 、 日 等 发 达 
国家 ， 许 多 著名 的 国际 公司 和 著名 的 科研 院 所 都 把 对 人 工 脑 的 研究 列 为 专门 的 研究 课题 ， 并 
取得 了 丰硕 的 成 果 。 

BCI 技术 在 医学 、 交 通 、 盏 事 、 工 业 、 农 业 等 领域 具有 广阔 的 应 用 前 景 。 

BCI 技术 可 以 让 四 肢 瘫痪 的 患者 重新 恢复 行动 自由 。 

BCI 技术 可 以 制作 思想 解读 机 器 ， 可 以 不 问 而 获取 人 的 想法 。 

BCI 设备 可 以 随时 监视 司机 的 精神 状况 ， 一 旦 检测 到 驾车 者 脑 部 活动 有 过 于 紧张 或 疲 
劳 ， 便 会 提醒 司机 注意 或 自主 采取 相应 运动 。 

利用 脑 波 驾 驶 飞机 、 控 制 航天 需 。 

利用 脑 波 对 周围 的 环境 进行 控制 ， 如 开 灯 、 打 开 电 视 机 等 。 

利用 脑 波 建 立 虚 拟 现实 系统 等 等 。 

现 举 以 下 例子 来 说 明 BCI 技术 的 应 用 前 景 。 

1. 猴子 脑 控 机 械 辟 

美国 科学 家 将 极 细微 的 电极 植 入 两 只 肉 性 恒 河 猴 大 脑 的 额 叶 和 项 叶 部 位 ， 每 个 电极 不 到 
人 的 一 根 头 发 丝 粗细 。 它 们 发 出 的 微弱 电信 号 通过 导线 进入 一 套 独特 的 计算 机 系统 。 该 系统 
能 识别 与 动物 手臂 特定 运动 相关 的 大 脑 信 号 模式 ， 信 和 号 经 脑 电 信和 号 z 
处 理 后 用 来 对 机 械 手 运动 进行 控制 。 这 项 重大 突破 使 意念 与 机 械 结 
合 的 研究 跨 出 了 一 大 步 ， 如 图 2-14 所 示 。 

2. 脑 控 驾驶 飞机 

美国 佛罗里达 大 学 的 科学 家 们 利用 2. 5 万 个 老鼠 脑 神经 细胞 创 
造 了 一 个 活 “大 脑 ”， 它 可 以 驾驶 模拟 高 速 飞机 。 科 学 家 们 将 一 个 
电极 栅 格 放 于 玻璃 盘子 底部 ， 栅 格 上 面 覆 盖 老 鼠 的 神经 元 细胞 。 细 
胞 最 初 像 一 盘 散 沙 一 样 漂浮 于 培养 液 中 ， 但 是 通过 显微镜 可 以 很 快 
看 到 它们 开始 互相 聚集 ， 慢 慢 地 形成 了 一 个 有 机 的 神经 系统 网 络 
一 一 也 就 是 类 似 大 脑 一 样 的 东西 一 -这 东西 被 迪 马 斯 称 作 “活着 的 图 2-14 脑 控 机 械 辟 
计算 装置 ”。 然 后 大 脑 通 过 一 台 计 算 机 和 飞机 模拟 装置 连接 在 一 起 。 就 像 人 类 的 大 脑 一 样 ， 
人 造 大 脑 也 可 以 学 习 。 最 初 的 时 候 ， 人 造 大 脑 并 不 知道 怎样 控制 飞机 ， 它 没有 任何 经 验 。 但 
是 ,“ 随 着 时 间 的 推移 ， 正 确 的 反复 刺激 修正 了 神经 网 络 的 反应 ， 慢 慢 地 (15min 后 ) 神经 
元 学 会 了 控制 飞机 。 最 后 的 结果 是 神经 网 络 系统 可 以 控制 飞机 在 相对 稳定 的 路 线 和 高 度 成 功 
飞行 。” 

3. 电信 号 刺激 增强 记忆 力 

美国 的 神经 学 专家 们 在 2005 年 于 圣地 亚 哥 
项 研究 成 果 。 他 们 在 人 的 前 额 装 上 小 电池 ,将 



























































































































































举行 的 神经 学 会 年 度 学 术 会 议 上 ， 提 交 了 一 
很 微弱 的 电流 作用 于 人 的 前 额 部 位 脑 神经 ， 
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20min 以 后 ,试验 对 象 的 语言 能 力 就 会 提高 20% 。 这 主要 是 由 于 该 装置 所 发 出 的 轻微 的 电流 
刺激 了 前 额 部 位 的 头皮 ， 激 发 了 该 部 位 的 脑 神经 活力 ， 使 其 反应 能 力 迅 速 增强 ， 从 而 提高 了 
语言 和 记忆 能 力 ， 如 图 2-15 所 示 。 a 

4. 将 电机 头 植 入 大 脑 皮层 ,病人 不 动手 就 能 玩 电 子 游戏 

美国 华 感 顿 大 学 的 埃 里 科 . 来 塔 德 特等 科学 家 ， 首 次 成 
功 地 将 电子 栅 格 植 人 人 的 大 脑 皮 层 ， 用 来 传 出 病人 大 脑 的 信 
号 , 使 病人 不 动手 就 能 玩 最 简单 的 电子 游戏 。 借 助 类 似 技 
R, 瘫痪 的 人 将 来 也 许可 以 用 思维 控制 机 器 或 工具 ， 或 者 重 
新 获得 对 手脚 运动 的 控制 能 力 。 这 种 技术 甚至 还 有 可 能 用 于 
开发 出 微型 机 器 人 ， 它 们 会 直接 被 人 脑 信 号 操纵 。 

5. 模仿 大 脑 的 电子 线路 

美国 麻 省 理工 学 院 的 科学 家 创造 了 一 种 电子 线路 。 和 传 图 2-15 电信 号 刺激 增强 记忆 力 
统 的 电子 线路 不 同 ， 它 可 以 模仿 大 脑 的 生物 线路 ， 接 收 如 大 
脑 皮质 的 回 授信 号 。 该 电子 线路 是 由 很 多 人 造 的 神经 单元 组 
成 ， 这 些 人 造 的 神经 单元 可 以 通过 一 些 人 造 的 神经 原 的 神经 
线 连接 ， 相 互通 信 。 图 2-16 所 示 是 科学 家 发 明 的 电子 线路 。 
它 是 由 16 个 人 造 神经 单元 组 成 。 

6. 世界 第 一 个 修补 大 脑 的 芯 

美国 科学 家 研制 出 了 一 块 能 发 挥 大 脑 内 海马 部 位 功能 的 
硅 芒 片 。 可 把 这 个 芯片 用 来 蔡 换 病人 大 脑 内 海马 组 织 的 病变 
部 位 ， 一 旦 被 替换 ， 它 就 可 以 接收 来 自 大 脑 神经 元 的 生物 电 
言 号 ， 通 过 芯片 的 处 理 模拟 出 海马 组 织 的 功能 ， 并 把 处 理 后 图 2-16 人 工大 脑 必 
的 信号 传 给 大 脑 的 其 他 神经 元 。 其 主要 的 功能 和 上 述 的 模拟 大 脑 的 电子 线路 是 近似 的 。 如 果 
确认 有 效 ， 脑 部 病变 或 受伤 而 无 法 产生 新 记忆 的 病人 将 能 重新 完整 地 感受 生活 。 其 工作 方式 
如 图 2-17 所 示 。 ac a 
























































































7. 用 人 体 皮肤 作为 传送 信号 的 数据 总 线 r e : 






é 
微软 公司 的 科学 家 近日 表示 ,他 们 已 经 获得 了 利 


用 人 体 皮肤 作为 能 量 管道 和 数据 总 线 的 专利 。 如 今 可 
穿戴 电子 产品 越 来 越 普及 ， 但 其 输出 和 输入 设备 却 相 an 
对 宛 余 ， 为 了 解决 输入 和 输出 设备 宛 余 问 题 ， 通 过 该 a e 
皮肤 总 线 技术 就 可 以 搭建 一 个 “个 人 局 域 网 (PAN) ”， Sheet 
允许 所 有 的 便携 设备 都 使 用 同一 个 输入 、 输 出 设备 。 ， 
例如 ， 无论 是 腕 式 手表 ,还 是 个 人 数字 助理 (PDA), 
它们 都 可 以 使 用 同一 个 扬声器 。 同 时 人 体 作为 一 种 天 
然 电阻 ， 还 可 以 用 作 虚 拟 键盘 。 

8. 神经 计算 机 

人 脑 有 140 亿 个 神经 元 及 10 亿 多 个 神经 键 ， 每 个 
神经 元 都 与 许多 个 神经 元 交叉 相连 ， 它 们 协力 工作 。 ， 
科学 家 认为 ， 每 个 神经 元 都 相当 于 一 台 微 型 计算 机 。 ”图 2-17 AT (大脑 ) 海马 芯片 
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人 脑 总 体 运 行 速度 相当 于 每 秒 1000 万 亿 次 的 计算 机 功能 。 如 果 用 许多 微 处 理 机 模仿 人 的 神 
经 元 结构 ， 采 用 大 量 的 并 行 分 布 式 网 络 就 构成 了 神经 计算 机 。 神 经 计算 机 还 有 类 似 神 经 的 节 
点 ， 每 个 节点 与 许多 节点 相连 。 若 把 每 一 步 运算 分 配给 每 台 微 处 理 机 ， 它 们 同时 运算 ， 其 他 
信息 处 理 速 度 和 智能 会 大 大 地 提高 。 

神经 计算 机 的 研究 开发 势头 令 人 鼓舞 。1989 年 美国 贝尔 实验 室 制 成 可 供 神经 计算 机 使 
用 的 集成 电路 ; 三 莹 电机 公司 开发 出 神经 计算 机 用 的 大 规模 集成 电路 芯片 ， 它 在 1. Seem? 的 
硅 片 上 设置 了 400 个 神经 元 和 40000 个 神经 键 。 应 用 这 种 芯片 实现 了 每 秒 2 亿 次 的 运算 速 
度 。 它 的 学 习 能 力 很 强 。 日 本 电气 公司 还 推出 一 种 神经 网 络 声音 识别 系统 ， 能 够 识别 出 任何 
人 的 声音 ， 正 确 率 已 达 99.8% 。 俄 罗斯 科学 家 声称 1991 年 成 功 地 研制 出 首 个 人 工 电 子 大 脑 
一 一 一 个 拥有 与 人 类 大 脑 同等 智力 潜能 的 “神经 计算 机 ”。 科 学 家 瓦 利 采 夫 说 ， 这 个 俄罗斯 
新 计算 机 比 以 往 的 人 工大 脑 更 优越 ， 因 为 它 是 利用 神经 生理 学 和 神经 形态 学 的 尖端 技术 制造 
出 的 能 够 真正 思考 的 机 器 。 他 说 : “我们 必须 把 这 种 机 器 当 作 刚 出 世 的 婴儿 那样 训练 ， 必 须 
把 它 当 作 朋 友 ， 不 要 把 它 视 作 犯人 或 敌人 ， 这 是 非常 重要 的 ”。 

神经 计算 机 将 来 会 有 更 广泛 的 应 用 ， 如 完成 识别 文字 、 符 号 、 图 形 、 语 言 以 及 声呐 和 雷 
达 接 收 的 信号 ， 判 读 支 票 等 ， 实 现 知识 处 理 ， 如 对 市 场 进 行 估计 ， 顾客 情况 分 析 ， 新 产品 分 
析 ， 进 行医 学 诊断 等 ， 进 行 运 动 控 制 ， 如 控制 智能 机 器 人 ， 实 现 汽 车 自动 驾驶 和 飞行 器 的 自 
动 驾驶 等 ; 在 军事 上 ， 用 来 发 现 、 识 别 来 犯 之 敌 ， 判 定 攻击 目标 ， 进 行 智 能 决策 和 智能 指挥 
等 。 神 经 计算 机 的 发 展 前 途 是 不 可 估量 的 ， 其 研究 也 在 不 断 地 创新 、 前 进 。 

EE ae FACS ARI AEN ING NRA RAE OP 

佐治 亚 理 工学 院 的 科学 家 们 在 一 个 玻 i 
璃 器 四 中 培养 了 一 个 老鼠 的 脑 组 织 细胞 ， || Poren | 
并 同时 在 脑 细胞 组 织 中 植 人 一 个 电子 芯 1 
来 接收 细胞 的 活动 信号 ， 同 时 通过 显微镜 ier oe 
来 观察 细胞 的 生长 状况 及 芯片 的 引 脚 在 细 
胞 中 所 处 的 位 置 ， 并 通过 计算 机 来 记录 电 
子 流向 和 细胞 信号 。 从 细胞 过 来 的 电子 信 
号 经 过 计算 机 分 析 和 处 理 以 后 ,通过 一 个 
无 线 电 装置 发 射 给 遥控 汽车 模型 ， 从 而 控 
制 汽车 的 运行 。 整 个 信号 的 控制 过 程 如 图 
2-18 所 示 。 


2.4.4 BCI 脑 控 机 器 人 技术 


过 去 几 年 中 ， 越 来 越 多 的 研究 表明 了 分 析 人 类 大 脑 实时 活动 和 将 大 脑 的 状态 转换 为 动作 
控制 的 可 能 性 ， 例 如 从 虚拟 键盘 中 选择 一 个 字母 或 者 移动 一 个 机 器 人 设备 。 这 些 研究 包括 介 
入 方式 〈 需 要 用 电极 植 人 大 脑 ) 或 者 采用 BC 同步 数据 通信 协议 。 本 节 描 述 了 一 种 便携 式 非 
插入 式 的 大 脑 一 一 计算 机 BCT 技术 ， 它 可 以 使 用 虚拟 键盘 对 迷宫 式 家 居 环 境 中 的 移动 式 机 器 人 
进行 控制 。BCI 是 异步 工作 的 〈 即 人 脑 发 出 自我 调节 的 命令 ， 控 制 一 个 大 脑 意识 任务 转向 下 
一 个 任务 ) 。 使 用 8 个 表面 电极 来 测量 脑 电信 号 ， 并 采用 一 个 统计 分 类 器 从 这 些 脑 电 信和 号 中 
识别 三 种 不 同 的 大 脑 意识 状态 。 这 里 给 出 了 五 位 志愿 者 在 他 们 和 移动 式 机 器 人 以 及 虚拟 键盘 
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仿真 系统 











图 2-18 脑 控 驾驶 汽车 模型 
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ZV PEAS EA SAS ER EP A Ae NS EI LS EO DLA A, Ah 
Sia (FCA — MRA A HEIMAR MIE) 采用 虚拟 键盘 进行 了 BCI 的 信息 控 
制 。 

1. 概述 

BCI 技术 对 于 身体 残疾 的 人 们 操作 计算 机 非常 重要 。 大 脑 的 状态 可 以 被 测量 并 控制 动 
作 ， 例 如 从 一 个 虚拟 键盘 选择 一 个 字母 或 者 移动 一 个 机 带 手 辟 。BCI 技术 可 以 通过 一 系列 的 
方法 监控 大 脑 活动 ， 这 些 方法 可 以 粗略 地 分 为 介入 式 和 非 介 入 式 。 大 部 分 非 介入 式 的 脑 机 接 
口 系 统 使 用 EEG 信号 ， 与 电 相 关 的 大 脑 活动 由 位 于 头皮 的 电极 记录 下 来 。 脑 电信 和 号 的 主要 
来 源 是 成 千 上 万 个 头皮 神经 元 的 同步 活动 。 测 量 脑 电信 和 号 是 一 种 简单 的 非 介 入 的 监控 大 脑 电 
信号 活动 的 方式 , 但 是 它 不 能 提供 单个 神经 元 (或 者 小 的 脑 区 ) 活动 的 详细 信息 。 此 外 ， 
它 具 有 小 信和 号 振幅 LAR) 和 噪声 测量 (尤其 在 不 具有 屏蔽 的 屋 里 记录 时 ) 的 特征 。 

除了 电 活 动 ， 神 经 元 活动 也 产生 其 他 类 型 的 信号 ,例如 电磁 和 新 陈 代谢 信号 ， 这 些 可 以 
在 BCI 中 使 用 。 电 磁场 可 以 被 脑 磁 描 记 法 记录 ， 而 新 陈 代谢 活动 一 一 反映 在 血液 流动 的 变化 
中 一 一 可 以 被 正 电 子 发 射 断层 扫描 、 核 磁 共 振 成 像 和 光学 成 像 观 察 到 ， 但 是 这 些 可 选 技术 要 
求 非常 复杂 的 设备 ， 这 些 设备 只 能 在 专业 的 研究 室 里 操作 。 此 外 ,测量 血液 流动 的 技术 需要 
很 长 的 反应 时 间 ， 并 且 它 们 不 太 适 合用 于 BCI 技术 。 

在 介入 式 的 脑 机 接口 系统 中 ， 单 个 神经 元 的 活动 (它们 的 峰值 形成 速率 ) 由 植 和 人 脑 中 
的 微 电 极 记录 。 在 一 些 对 老鼠 和 猴子 的 试验 中 ,研究 人 员 监 控 到 与 运动 执行 和 计划 的 相关 皮 
层 的 不 同 区 域 一 一 运动 神经 、 运 动 前 区 和 后 顶 叶 皮层 。 从 一 个 对 神经 元 总 体 活动 的 实时 分 析 
中 得 出 ， 测 定 动物 的 运动 意图 ， 预 知 猴子 运动 的 轨迹 ， 并 且 驱 动 一 个 计算 机 光标 到 预定 位 置 
是 可 能 的 。 在 人 类 患者 中 ， 迈 向 介入 式 方法 的 第 一 步 已 经 完成 。 其 中 一 个 病人 最 终 能 够 驱动 
光标 并 书写 信息 。 

考虑 到 永久 外 科 植 人 式 BCI 设备 在 大 脑 中 产生 的 风险 和 相关 的 伦理 关系 ， 最 好 只 采用 非 
介 人 方式 进行 脑 电信 和 号 的 测量 ， 尤 其 是 由 脑 电 图 测量 的 大 脑 电 信号 。 对 于 确定 的 刺激 ， 例 如 
闪 过 的 图 像 和 光 ， 脑 电 图 显示 出 一 个 明显 的 特征 信号 ， 也 就 是 所 谓 的 唤醒 电位 ， 它 反映 了 大 
脑 对 这 些 外 部 刺激 的 即时 响应 。 从 理论 上 讲 ， 唤 醒 电位 容易 被 头 部 电极 捕 提 ， 而 且 已 经 在 
BCI 技术 中 得 到 应 用 。 然 而 研究 外 部 刺激 的 必要 性 在 很 大 程度 上 限制 了 唤醒 电位 的 应 用 。 对 
于 BCI 技术 , 一 个 更 自然 和 合适 的 方法 是 分 析 与 自发 的 “有 意识 的 ”精神 活动 相关 的 成 分 。 
因此 ， 一些 学 者 从 头皮 顶部 测量 不 活 唆 脑 皮 层 的 电位 ， 这 种 电位 的 振幅 与 一 个 特定 皮层 网 络 
的 整体 的 预备 兴奋 度 有 关 。 其 他 的 团体 则 关注 局 部 的 EEG 律动 变化 。 一 个 独特 且 重 要 的 
EEG 律动 能 从 某 些 头皮 的 中 心 区 域 记 录 下 来 ， 这 些 头 皮 和 覆盖 在 想象 身体 运动 时 的 感觉 皮层 
之 上 。 但 是 ， 除 了 与 动机 相关 的 律动 ， 其 他 的 精神 认 知 活动 也 正在 探测 中 。 对 于 生物 认 知 的 
研究 可 以 采用 多 种 方法 ， 例 如 几何 图 形 的 旋转 、 算 术 运 算 和 语言 表达 等 模式 。 

目前 基于 EEG 的 BOL 受到 容量 和 速度 的 限制 ， 在 控制 快速 和 复杂 的 活动 序列 时 响应 速 
度 不 够 快 。 而 且 基 于 ERG 的 控制 任务 也 只 局 限于 一 些 简 单 的 操作 ， 例 如 移动 鼠标 指针 到 显 
示 屏 的 边 角 处 或 打开 手 矫 形 顺 。 本 节 给 出 的 志愿 者 能 够 在 短 短 的 几 天 内 学 会 操作 能 够 识别 三 
种 精神 状态 的 基于 EEG 的 便携 式 BCI 设备 。 两 位 志愿 者 仅 靠 意识 成 功 地 控制 在 几 个 区 域 之 
间 走 迷宫 的 机 器 人 ， 而 且 大 脑 意 识 控 制 的 效果 与 手动 控制 相差 无 几 。 在 第 二 个 大 脑 控制 的 互 
动 演示 中 ， 描 述 了 一 个 能 使 人 们 从 一 个 虚拟 键盘 上 选择 字母 和 书写 信息 的 通信 工具 。 给 出 了 
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三 个 志愿 者 使 用 虚拟 键盘 的 报告 ， 一 个 熟练 的 和 两 个 初级 的 。 其 中 一 名 熟练 的 用 户 已 经 可 以 
连续 使 用 虚拟 键盘 几 个 月 ， 而 初学 者 则 在 一 天 内 就 完成 了 训练 。 其 中 一 位 志愿 者 患 有 兰 椎 肌 
肉 萎缩 症 。 

2. BCI 数据 通信 协议 

目前 基于 EEG 的 大 脑 一 计算 机 交互 设备 受到 速度 低 的 限制 ， 大 部 分 系统 的 数据 传输 速 
度 都 低 于 0. Sbit/s。 其 中 一 个 主要 原因 是 它们 采用 的 是 同步 数据 通信 协议 。 在 这 种 协议 下 ， 
对 于 每 4~10s 重复 一 次 的 整齐 的 外 部 刺激 ，EEG 的 周期 是 固定 的 ，BCI 的 响应 是 这 一 时 期 
的 平均 结果 。 从 准确 了 解 大 脑 活动 状态 和 与 背景 EEG 活动 有 关 的 差异 来 讲 ， 这 种 同步 数据 
通信 协议 有 助 于 EEG 的 分 析 。 但 是 由 于 速度 太 慢 而 且 BCI 系统 从 测量 EEG 的 电信 号 中 只 能 
识别 两 种 大 脑 活 动 状 态 ， 所 以 使 用 一 种 异步 的 数据 通信 协议 来 分 析 检 测 人 们 精神 状态 的 
EEG 信号 ， 可 以 在 任何 时 候 自由 地 改变 而 不 用 等 竺 外 部 的 刺激 。 这 种 快速 的 异步 BCI 技术 ， 
响应 时 间 可 以 达到 O. Ss。 处 理 速 度 在 理论 上 能 够 达到 1 ~ 1. 5bit/s。 

电极 的 放置 是 根据 国际 标准 10-20 ABE, EEG 系统 需要 从 灰色 表示 的 8 个 前 部 -中 央 - 顶 
上 骨 电 极 中 获得 大 脑 电 信号 。 所 有 的 信号 都 参照 耳 联 参考 值 (从 两 个 耳垂 中 测量 的 平均 电位 ) 
记录 下 来 。 

EEG 电位 被 记录 在 8 个 标准 前 部 -中 央 - 顶 骨 部 
位 F3、F4、C3、Cz、C4、P3、Pz 和 P4， 如 图 2- 
19 所 示 。 参 与 测试 的 志愿 者 们 戴 上 装 好 电极 (如 
图 2-21 中 所 示 的 小 圆 环 ) 的 帽子 。 采 样 率 为 
128Hz。 原 始 的 EEG 电位 过 于 嘲 杂 而 且 易 变 ， 不 易 
直接 测量 ， 因 此 第 一 步 应 该 对 它们 进行 预 处 理 来 增 
加 它们 的 信 噪 比 和 提取 相关 的 特征 ， 使 它 更 好 地 用 
于 描述 识别 的 大 脑 思 维 状 态 。 原 始 的 EEG 电位 首 
先 要 经 过 表层 拉 普 拉 斯 (SL) 算法 变换 。 首 先 给 
第 二 种 次 序 的 球形 键 槽 插值 ， 然 后 计算 第 二 个 对 局 
部 化 的 电位 活动 的 来 源 灵敏 空间 导数 。 它 可 从 上 述 
8 个 电极 位 置 计算 出 来 。 通 常 ，SL 算法 变换 需要 图 2-19 大 脑 EEG 测量 的 电极 配置 
通过 大 量 电极 信号 来 进行 计算 ， 但 是 有 人 指出 ， 对 
于 BCI 的 操作 ， 不 论 大 量 还 是 少量 电极 信号 得 出 的 SL 波形 在 统计 上 都 产生 相似 的 分 级 结 
果 。 还 有 人 比较 了 在 使 用 很 少 电极 信号 时 计算 SL 的 不 同方 法 。 用 于 BCI 操作 的 在 原始 电位 
上 SL 算法 变换 的 优越 性 是 明显 的 。 

从 8 个 SL 算法 变换 的 电极 信号 所 提取 的 特征 是 在 时 域 傅 里 叶 变 换 的 基础 上 得 到 的 。 使 
用 韦 尔 奇 周期 图 算法 来 测定 每 一 个 信道 的 最 终 功率 频谱 。 可 以 明确 地 将 快速 侍 里 叶 变 换 
(FFT) 以 0.5s 平均 分 为 3 段 (各 段 间 有 50% WE), ET 2Hz 的 频率 分 辩 率 。 这 个 值 
在 8 ~30Hz 的 频谱 下 根据 在 波段 上 总 能 量 被 标准 化 。 因 而 ,一 个 EEG 样本 有 96 个 特征 (8 
通道 乘 以 12 个 组 件 ) EEG 样本 运算 每 62. 5ms 一 次 (每 秒 运算 16 次 )。 采 用 异步 数据 通信 
协议 ， 可 以 更 好 地 表现 周期 图 特征 。 

图 2-20 所 示 为 在 位 置 C3 和 C4 以 及 与 它们 相应 周期 图 特征 下 测 得 的 1s 的 原始 EEG 信 
号 的 两 个 例子 。 这 两 个 例子 都 是 间隔 3s， 而 志愿 者 “B” 是 连续 地 执行 “向 左 ” 的 大 脑 命 
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令 。 图 2-20 表明 了 以 下 两 点 : 首先 ， 除 了 原始 EEG 信号 的 易 变性 ， 它 们 的 周期 图 特征 相当 
稳定 ; 其 次 ， 除 了 通道 C3 和 C4 被 定位 在 大 脑 的 左 、 右 运动 神经 区 外 ， 它 们 各 自 的 暂时 动 
作 与 想象 的 单 手 动作 非常 相似 〈 在 这 个 事例 中 为 左手 ) 。 这 表明 在 这 个 任务 中 ，EEG 信号 的 
空间 立体 解决 方法 是 相当 低 水 平 的 ， 因 而 EEG 不 同 差别 的 能 量 与 电极 数量 不 成 比例 。 

在 大 脑 位 置 C3 和 C4 测 得 的 两 个 典型 的 原始 EEG 信号 的 例子 如 图 2-20 所 示 和 图 中 所 有 
波段 的 周期 内 的 总 结果 (能量 2Hz) 是 统计 分 类 器 的 输入 。 这 里 ， 有 五 位 志愿 者 作为 被 测试 
对 象 参 加 了 研究 ， 其 中 四 位 是 健康 的 (志愿 者 A、B、C 和 D) ， 而 第 五 位 患 有 兰 骨 肌肉 萎缩 
E (志愿 者 Ek)。 桨 骨 肌 肉 萎缩 症 是 骨头 和 肌肉 的 发 育 受 到 损伤 ， 他 只 能 有 限 地 控制 他 的 右 










































































手 。 志 愿 者 A AB 用 BCI 控制 走 迷 宫 机 器 人 ， 而 志愿 者 C、D 和 下 通过 虚拟 键盘 进行 交流 。 
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图 2-20 在 大 脑 位 置 C3 和 C4 测 得 的 EEG 信和 号 与 周期 图 
a) 原始 EEG 信号 b) 周期 图 




















为 了 与 被 大 脑 控制 的 走 迷 宫 机 器 人 或 虚拟 键盘 进行 交互 ， 志 愿 者 经 过 了 最 初 训练 阶段 ， 
SOW GEER DALE) 到 几 天 CRA A, BAC), 在 这 里 ， 他 们 学 习 控 制 所 选 的 三 
个 大 脑 智力 任务 。 这 些 任 务 包括 放松 、 想 象 肢 臂 的 运动 、 想 象 一 个 旋转 、 执 行 一 个 固定 数 的 
减法 运算 (464-3 =61、61 -3 =58 等 ) 、 用 同样 的 字母 构造 单词 。 三 个 志愿 者 CC, D 和 
E) 闭 上 有 眼睛 放松 ， 而 志愿 者 A 和 B (他们 是 控制 智能 走 迷 宫 机 融 人 的 ) 睁 着 眼睛 放松 。 所 
有 其 他 任务 部 是 睁 着 眼睛 进行 大 脑 控 制 。 片 刻 评 佑 之后， 志愿 者 B 选择 做 三 个 联系 到 一 块 
的 任务 ， 即 放松 -向 左 -向 右 ， 而 男 四 个 志愿 者 选择 放松 -向 左 -空间 的 任务 组 合 。 然 后 将 这 些 
智力 任务 编 为 1 号、2 号 和 3 号 (也 即 ， 放 松 是 1 号， 向 左 是 2 号 ， 向 右 或 空间 是 3 号 )。 
没有 一 个 志愿 者 事先 经 过 BCI 或 智力 训练 。 

每 天 ， 志 愿 者 参加 四 个 连续 的 训练 段 (除了 志愿 者 上 做 了 7 个 训练 段 ) ， 每 段 为 5s， 间 
隔 是 5 ~ 10min。 在 每 个 训练 中 ， 志 愿 者 每 10 ~ 15s 在 三 个 任务 中 随机 交换 。 志 愿 者 通过 计算 
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机 显示 屏 上 的 彩色 按钮 在 线 接收 反馈 信息 。 每 个 按钮 连接 一 个 可 识别 的 智力 任务 。 当 一 个 
EEG 样本 被 归 类 到 相应 的 智力 任务 时 ， 一 个 按钮 内 亮 。 每 个 训练 后 的 统计 分 类 数据 被 离线 
最 优化 。 在 初始 训练 后 ， 志 愿 者 学 会 用 大 脑 意识 控制 走 迷 宫 机 器 人 (志愿 者 A、B) 或 者 虚 
拟 键盘 (志愿 者 C、D 入 ) 。 在 训练 期 间 ， 他 们 两 人 一 组 彼此 适应 来 准备 实验 。 

3. 统计 分 类 器 

采用 一 个 高 斯 分 类 器 把 大 脑 智力 任务 (或 类 别 ) 进行 分 类 识别 ， 对 于 上 面 讲 到 的 1 号 ， 
2 号 ，3 号 或 “不 可 知 ” 的 EEG 样本 ， 这 种 分 类 天 胜 过 支持 向 量 机 和 动态 过 程 神 经 网 络 方 
法 。 

在 这 种 分 类 统计 中 ， 每 一 个 高 斯 单元 代表 了 一 个 需要 组 织 的 分 类 的 原型 。 它 的 输出 是 为 
一 个 EEG 例子 给 出 后 面 分 类 的 可 能 分 布 的 估计 。 算 法 的 研究 就 是 找 出 合适 的 中 心 和 在 高 斯 
空间 中 各 个 分 类 的 高 斯 单元 的 适用 区 间 。 

尽管 混合 高 斯 单元 的 方法 大 家 都 很 熟悉 ,假设 类 的 状态 密度 功能 函数 C, 是 个 关于 NN 高 
斯 原型 的 过 电势 元 素 。 这 些 分 类 单元 可 能 有 相同 的 优先 性 。 在 这 个 例子 中 ， 所 有 的 分 类 有 相 
同 数目 的 原型 ， 共 有 四 个 。 还 有 ， 假 设 所 有 的 四 个 原型 有 相同 的 权重 。 然 后 ， 丢 掉 常 量 组 ， 
结果 y, 变量 x 的 方程 是 




























































































N; 


> ala) 
nsa a (2-1) 
2 Ba) 
式 中 ，N. 是 分 类 的 数量 a 激活 了 C, 的 第 i 个 原型 。 
ai(x) = |3, |7 exp( -1/2(% -m,)" E (x -pi)) (22) 


AP, m, 相应 了 分 类 C 第 i 个 原型 的 中 型 ;， 3, 是 分 类 C, 的 协 方差 矩阵 ;1 3 | 是 矩阵 的 
Eo RE, 3; 对 所 有 的 分 类 原型 来 说 都 是 斜 三 角 和 矩阵 。 减 少 了 变量 的 个 数 同时 ， 增 加 了 这 
些 变量 估计 值 的 精度 。 

这 种 计算 例子 x 的 方法 得 到 的 结果 是 分 类 C, 通过 最 大 可 能 的 数据 ， 这 说 明 哪 些 数 据 要 
比 给 定 可 能 的 极限 要 大 一 些 。 或 者 说 ， 结 果 是 不 大 清楚 的 。 这 种 拒绝 判定 保持 较 少 数量 的 错 
误 ， 因 为 从 大 量 的 错误 中 恢复 会 导致 大 量 的 费用 。 选 择 这 个 可 能 的 极限 是 由 前 一 段 时 间 一 个 
BCI 研究 小 组 提出 的 ， 他 们 对 志愿 者 进行 了 初步 训练 ， 实 际 的 数值 是 基于 志愿 者 进行 初期 训 
练 过 程 中 的 表现 提出 的 。 特 别 地 有 A 和 B 可 能 的 极限 为 0.85，C 为 0.9，D FE 40.75, 

为 开始 设计 原型 中 心 和 分 类 C 的 协 方差 和 矩阵， 运行 了 一 个 叫 Clustering Algorithm 的 软 
件 来 计算 需要 原型 的 数目 和 位 置 。 然 后 ， 初 始 值 的 协 方差 矩阵 是 





Sk 
1 n i(n n i(n 
Be = g È (a a)? a)" (2-3) 
k n=1 


AP, S, 表示 C, 类 测试 例子 的 数量 ; i(n) 是 这 种 分 类 与 例子 x" 最 近 的 原型 。 

因为 jw 可 以 解释 为 原型 的 单元 ， 在 训练 当中 ， 把 它 移 向 了 EEG 例子 中 它们 表现 出 来 的 
心理 工作 。 为 了 防止 有 其 他 因素 影响 原型 单元 ， 把 EEG 中 其 他 的 工作 移 走 了 。 特 别 是 为 了 
使 每 个 例子 x 都 在 训练 项 目 中 ， 所 有 分 类 的 原型 的 更 新 原则 是 符合 下 列 式 子 : 


iya, (4%) 


Ayia) = a(t) =y la) DEE C ML) Gry (2-4) 
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RP, a 是 学 习 效率 ; 4 是 目标 段 第 个 组 件 ; 4 是 整个 网 络 所 有 的 活动 。 

在 反复 试验 以 后 ， 使 用 式 (2-3) 重新 估计 了 一 下 马 的 值 。 可 以 通过 很 多 精确 的 方式 佑 
计 协 方差 矩阵 的 值 ， 包 括 通过 梯度 递减 的 方法 ， 这 样 能 够 起 到 最 小 化 错误 的 功能 ， 但 这 里 没 
有 这 样 做 。 

人 脑 与 计算 机 交互 是 每 0. 5s 进行 一 次 ， 开 始 这 能 够 满足 为 每 个 类 计算 出 分 类 状况 的 能 
力 。 然 后 把 分 类 状况 能 力 均 分 在 8 个 连续 的 例子 中 ， 它 能 通过 使 用 贝 叶 斯 公式 计算 得 到 的 平 
均 分 类 状况 能 力 来 估计 后 期 的 能 力 。 它 能 用 得 到 的 后 期 能 力 与 可 信 的 边界 进行 对 比 。 在 训练 
后 期 ， 错 误 和 未 知情 况 大 约 在 5% ~ 30% 之 间 。 下 面 是 使 用 前 期 分 类 训练 过 的 数据 进行 一 次 
新 网 络 上 的 测试 的 结果 。 理 论 上 的 频道 接口 容量 大 约 在 1bit/s 左右 。 接 口 也 可 以 运行 在 另外 
一 种 模式 (RAN) 下 ， 这 种 模式 中 ， 通 过 使 用 2 个 或 3 个 连贯 的 0.5s 的 相应 阶段 发 出 相 
同 的 分 类 ， 可 以 使 分 类 错误 大 大 地 降低 。 在 模式 正中 ， 错 误 或 者 未 知情 况 在 2% ~ 40% Z 
间 ， 可 信 的 是 ， 理 论 的 信道 能 力 大 约 在 1bit/s (2 个 连续 的 响应 ) 或 者 0. 6bit/s (3 个 连续 
的 响应 ) 。 

4. 大 脑 控 制 的 走 迷 宫 机 器 人 

这 项 工作 是 驱动 机 器 人 走 迷 宫 。 走 迷宫 机 器 人 是 一 个 直径 5. Tem 双 轮 小 车 。 机 器 人 以 
每 秒 1/3 直径 的 速度 移动 ， 这 种 速度 差不多 和 一 个 轮椅 在 办 公 大 楼 里 的 移动 速度 相近 。 

在 图 2-21 所 示 的 一 次 实验 中 ,一 个 志 
愿 者 通过 意识 操纵 机 器 人 穿 过 环境 中 的 不 同 
区 域 。 

(1) 设置 和 控制 机 器 人 为 了 使 机 器 人 
沿 着 预期 的 路 线 移动 ， 需 要 确定 电动 机 速 
度 ， 以 控制 小 车 前 进 的 每 一 步 。 显 然 ， 仅仅 
依靠 三 条 大 脑 意 识 指令 是 不 可 能 完成 的 。 一 
个 关键 的 控制 策略 是 操纵 者 的 大 脑 意 识 状 态 
和 高 水 平 的 指令 相关 联 (例如 , “在 下 一 个 
地 方 右 抛 ”)， 这 样机 器 人 通过 依据 传感器 
的 信号 执行 相应 的 指令 。 另 一 个 对 机 器 人 控 图 2.21 大 脑 控 制 走 迷宫 机 器 人 实验 
制 的 想法 是 志愿 者 可 以 在 任意 时 刻 发 出 指 
令 。 这 是 因为 对 BCI 的 操作 是 异步 的 ， 和 同步 方式 不 同 ， 它 不 要 求 等 待 外 部 指令 ， 机 器 人 能 
够 自主 执行 一 个 高 水 平 的 指令 ， 直 到 接收 到 了 下 一 条 指令 。 

走 迷 富 机 器 人 依靠 一 个 基于 BCI 输出 信号 的 控制 器 来 执行 指令 ， 以 保证 避 开 障碍 物 和 平 
滑 转弯 。 在 这 种 控制 带 中 ， 需 要 经 常 读 取 传 感 带 信号 ， 并 确定 下 一 个 要 做 的 动作 。 志 愿 者 的 
大 脑 意识 状态 (或 者 命令 ) 到 机 器 人 动作 的 映射 并 不 是 简单 的 一 一 对 应 ， 为 了 达到 对 机 器 
人 更 灵活 的 控制 ， 对 一 个 有 6 种 动作 状态 的 自动 控制 ， 大 脑 活 动 状 态 只 是 它 的 一 个 输入 。 动 
作 之 间 的 转换 取决 于 3 个 大 脑 活动 状态 (1 号 、2 号 、3 号 ) 、6 个 关于 环境 的 感知 状态 (机 
器 人 的 感知 信息 : 左 墙 、 右 墙 、 前 方 的 墙 或 者 障碍 物 、 左 方 的 障碍 物 、 右 方 的 障碍 物 ， 以 及 
无 遮挡 空间 ) 和 一 些 内 部 存储 器 变量 。 图 2-22 给 出 了 一 个 简化 了 的 机 器 人 控制 的 6 种 动作 
转换 。 正 确 地 实现 不 同 的 动作 需要 存储 变量 。 因 此 ， 如 果 机 器 人 正在 执行 “向 前 ”这 个 动 
作 ， 并 且 感 觉 到 左 方 的 墙 ， 它 会 自动 切换 到 “ 沿 左 墙 移动 ”这 个 动作 。 对 “向 前 ”这 个 动 
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作 的 转换 是 必需 的 ， 例 如 ， 如 果 机 器 人 接近 了 一 个 开 着 的 门 而 志愿 者 不 想 让 机 器 人 进入 该 区 
域 。 另 一 方面 ， 机 器 人 一 旦 它 感觉 到 前 方 有 
障碍 物 ， 以 避免 发 生 磁 撞 而 需要 “停止 ” 
(图 中 为 了 简化 ， 并 没有 给 出 所 有 对 “ 停 
止 ”这 个 动作 的 转换 ) 。 对 大 脑 一 个 思维 状 
态 的 解释 取决 于 机 器 人 的 感知 状态 。 因 此 ， 
在 一 个 空旷 的 地 方 ， 大脑 思维 状态 2 号 代表 
“ 左 转 ”， 而 如 果 在 左边 检测 到 有 墙 ， 这 个 相 
同 的 大 脑 思 维 状 态 会 被 解释 为 “ 沿 左 墙 移 
动 "。 类 似 地 ， 大 脑 思 维 状态 3 号 代表 “ 右 
转 ” 或 者 “ 沿 右 墙 移动 "; 大 脑 思 维 状 态 1 
号 总 是 意味 着 “向 前 移动 "。 总 而 言 之 ， 志 
E (操纵 ) 者 觉得 这 种 控制 策略 简单 并 且 使 
用 起 来 很 直观 ， 因 为 每 一 个 大 脑 思维 状态 与 Yh aires 
一 类 动作 相关 联 (例如 ,种 类 “向 左 ”)， 且 感知 状态 决定 子 种 类 (例如 ， 大 脑 指 令 “ 向 
左 ” 有 “ 左 转 ” 或 者 “ 沿 左 墙 移动 ”) 不 同 状 态 。 

图 2-22 中 的 6 个 动作 之 间 的 转换 取决 于 3 个 大 脑 思 维 状 态 (1 号 、2 号 、3 号 )、6 个 传 
感 器 感知 状态 (| o: 左 墙 ，o1 : 右 墙 ，6: 前方 有 墙 或 者 障碍 物 ) 和 部 分 存储 器 变量 。 

走 迷 宫 机 器 人 是 一 个 双 轮 车 。 在 它 的 直径 周围 有 8 个 红外 线 传感器 用 来 检测 障碍 物 。 这 
些 传感器 的 监测 距离 有 限 ， 这 使 得 从 未 经 加 工 的 信息 中 识别 不 同 状 态 有 些 困难 。 为 了 提高 性 
能 ， 采 用 多 层 感知 器 把 8 个 红外 线 传感器 的 未 经 加 工 的 信息 映射 到 相应 的 感知 状态 。 对 这 个 
神经 系统 的 分 类 器 ， 采 用 和 斜率 的 导数 进行 脱 机 训练 来 估计 一 个 感知 样本 分 配给 6 个 感知 状态 
表 中 每 一 个 状态 的 概率 。 训 练 的 样本 (每 一 个 感知 状态 有 500 个 ) 通过 在 已 知 的 环境 中 随 
机 放置 机 器 人 定位 产生 。 

一 个 端 元素 是 使 用 一 个 合适 的 反馈 来 显示 当前 被 舱 入 的 分 类 器 识别 出 来 的 大 脑 意 识 指 
令 。 这 依靠 机 器 人 顶部 的 3 个 灯 来 完成 ， 它 们 和 训练 阶段 使 用 的 按钮 颜色 相同 。 前 面 的 灯 是 
绿色 的 ， 并 且 当 机 器 人 接收 到 1 号 大 脑 意识 指令 时 会 亮 。 左 边 的 灯 是 蓝 色 的 ， 并 且 和 2 号 大 
脑 意识 指令 相关 联 ， 而 右边 的 灯 是 红色 的 ， 并 且 和 3 号 大 脑 意识 指令 相关 联 。 

蓝 色 的 左 灯 与 2 号 大 脑 意识 指令 相 联系 ， 红 色 的 右 灯 与 3 号 大 脑 意识 指令 相 联系 。 如 果 
机 器 人 沿 着 左边 墙 接近 开 着 的 门 ， 蓝 色 的 反馈 灯会 指示 机 器 人 将 要 向 左 转 ， 以 便于 继续 沿 着 
左边 墙 走 (这 样 一 来 ， 它 将 进入 这 个 区 域 ) 。 相 反 ， 绿 色 的 反馈 灯 指 示 机 器 人 将 会 沿 着 走廊 
一 直 走 ， 当 来 到 门口 时 不 会 进入 区 域 。 这 种 简单 的 反馈 模式 ， 可 以 让 志愿 者 在 发 生 错 误 时 ， 
及 时 改变 机 器 人 的 前 进 路 线 。 

(2) 走 迷 宫 机 器 人 的 试验 结果 在 操作 界面 模式 1 下 ,初始 训练 3 天 ,志愿 者 A 和 了 B 达 
到 了 邻 人 满意 的 执行 水 平 (正确 识别 率 在 65% 以 上 , 而 错误 率 在 7% 以 下 一 一 仍 有 一 些 “ 未 
知 " 反 应 ) 。 志 愿 者 参加 了 每 天 4 次 的 试验 训练 。 图 2-23 显示 两 个 志愿 者 在 相同 训练 次 数 下 
的 特征 曲线 。 一 开始 的 训练 倾向 于 收集 初始 EEG 例子 来 训练 统计 分 类 器 ,所 以 志愿 者 此 时 得 
不 到 任何 反馈 。 对 于 志愿 者 A, 前 两 天 的 训练 与 剩余 三 天 的 训练 间 相 隔 了 几 个 周期 的 时 间 。 
图 2-23 所 示 为 在 第 一 天 (2 ~4 次 训练 ) .第 三 天 (5 ~8 次 训练 ) .第 五 天 (9 ~ 12 次 训练 ) 志愿 者 






























































































































































A 的 操作 行为 精确 度 和 操作 错误 率 。 图 2-23 表明 4 或 5 次 训练 后 错误 率 显 著 下 降 。 

图 2-23 
图 b 所 示 为 操作 错误 率 。 每 次 训练 后 的 百分率 相当 于 “未 知 ” 反 应 。 在 第 一 次 训练 时 志愿 
者 没有 接收 到 反馈 信息 。 
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图 2-23 
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志愿 者 A 和 B 的 操作 行为 精确 度 与 错误 率 
a) 精确 度 b) 错误 率 
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显示 了 在 三 天 内 〈 每 天 4 次 ) 不 同 的 训练 表现 。 图 a 显示 正确 操作 的 精确 度 ， 


除了 这 些 观 察 资 料 ， 志 愿 者 在 操作 行为 精确 度 曲 线 中 都 展示 了 相同 的 趋势 。 第 一 天 他 们 
的 操作 行为 有 很 明显 的 进步 ， 在 第 二 天 时 操作 行为 精确 度 降低 但 又 恢复 了 。 这 说 明 由 于 人 脑 
的 自然 多 样 性 、EEG 信号 的 限制 和 志愿 者 操作 BCI 的 能 力 还 不 稳定 ， 所 以 从 第 一 天 到 第 二 


天 得 出 结论 是 很 困难 的 。 第 三 

















志愿 者 的 BCI 操作 技术 趋向 稳定 ， 第 一 次 训练 时 ，BCI 操作 


技能 先 降 低 随 后 又 提高 ， 在 以 前 的 试验 中 ， 其 他 的 志愿 者 也 表现 出 相似 的 趋势 。 对 后 来 的 志 
愿 者 进行 几何 学 研究 表明 ， 在 连续 训练 之 间 有 许多 相似 之 处 。 最 初 的 两 者 在 最 后 训练 时 技能 
提高 有 一 定 联系 ， 说 明志 愿 者 的 BCI 操作 技术 正在 趋 于 稳定 。 

图 2-24 
情况 下 ， 可 能 性 开始 是 0. 85 ， 每 个 分 类 器 被 以 前 练习 的 EEG 例子 训练 。McNemar 统计 测试 















































显示 第 二 次 和 最 后 一 次 训练 时 的 两 位 志愿 者 每 个 大 脑 意识 指令 的 不 同 。 在 各 种 


显示 , 4 种 原型 分 类 器 性 能 比 其 他 数目 原型 分 类 带 要 好 得 多 或 水 平 相等 。 特 别 是 ， 使 用 超过 


4 个 原型 同 常会 导致 在 开始 训练 时 不 正常 ， 这 可 能 是 由 于 EEG 例子 的 多 变量 在 训练 结束 时 


减少 。 
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图 2-24 参与 者 A 和 了 的 操作 行为 精确 度 和 错误 率 


a) 精确 度 b) 错误 率 
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在 图 2-24 中 ， 他 们 在 初始 训练 阶段 的 第 二 个 和 最 后 一 个 中 ， 每 个 大 脑 意识 指令 使 用 不 
同 数量 的 模式 原型 。 图 a 显示 正确 操作 的 精确 度 ， 图 b 显示 操作 错误 率 。 每 次 训练 后 的 百 分 
率 相 当 于 “未 知 ” 反 应 。 

R 24 所 示 为 两 个 志愿 者 在 他 们 的 第 二 个 训练 阶段 根据 反应 率 平均 在 0. 5s 以 上 的 操作 
行为 表现 。 此 表现 正确 与 否 用 精确 度 和 错误 率 来 衡量 。 剩 余 的 百分比 与 “未 知 ”反应 相对 
应 。 在 所 有 的 情况 下 ， 概 率 阔 值 都 取 0. 855 。 每 一 个 分 类 器 都 由 EEG 的 第 一 训练 阶段 的 样本 
进行 训练 。 



































表 2-4 平均 响应 数值 表 (%) 
志愿 者 1 2 4 8 16 
z 精确 度 62.6 57.0 58.8 55.7 55.0 
错误 率 27.1 17.2 23.2 14.2 15.1 
3 精确 率 62.2 62.2 60.4 59.3 57.8 
错误 率 31.7 21.9 13.4 11.3 12.6 




















从 表 2-4 可 以 看 出 ， 根 据 志愿 者 A 和 B 在 他 们 的 第 二 次 训练 过 程 中 连续 响应 的 数量 均值 
超过 1/2s。 这 意味 着 ， 如 果 把 NN 个 EEG 样本 的 响应 取 平 均值 ， 每 一 个 占据 电源 周期 的 1/ 
(2N) s。 此 前 在 所 有 可 能 的 情况 下 ， 概 率 阐 值 都 取 0. 85， 每 一 个 分 类 器 都 用 初次 实验 的 
EEG 样本 训练 过 。 当 这 个 均值 略 小 于 8 时 ， 就 会 产生 相当 大 的 误差 。 还 可 以 观察 到 ， 当 超 
过 8 时 ， 结 果 不 会 有 很 大 的 改善 。 对 于 后 面 情况 的 原因 是 在 连续 EEG 样本 之 间 瞬 间 移动 的 
很 小 ， 以 至 于 样本 非常 相似 。 

经 过 初步 训练 之 后 ， 志 愿 者 用 两 天 的 时 间 学 习 用 大 脑 意识 控制 这 个 移动 机 器 人 ， 并 运行 
于 第 二 种 模式 的 人 机 交互 界面 。 在 第 二 阶段 的 训练 中 ， 志 愿 者 必须 用 大 脑 意识 指令 控制 机 器 
人 从 初始 位 置 到 第 一 个 目标 区 域 ， 一 旦 到 达 这 里 ， 第 二 个 目标 区 域 就 被 选中 ， 以 此 类 推 ， 就 
可 以 用 大 脑 意识 指令 控制 机 器 人 不 断 地 前 进 。 

图 2-25 所 示 为 一 个 由 志愿 者 A 在 训练 两 天 | 
以 后 产生 的 路 线 轨迹 。 被 控 机 器 人 走 过 了 三 个 不 
同 的 区 域 ， 随 机 移动 的 ， 从 “S” 处 出 发 。 尽 管 Q 
这 个 数字 没有 显示 在 屋 里 的 轨迹 细节 ， 但 是 机 器 | A7 
人 在 它们 中 的 每 一 个 都 做 了 小 的 探索 。 试 验 中 ， -AQ 
志愿 者 持续 驱动 机 器 人 10min， 每 次 他 都 把 机 器 a 
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人 和 带 到 指定 的 区 域 , 但 是 有 些 情况 下 ， 这 个 机 带 
人 没有 遵循 最 佳 轨迹 行进 。 这 主要 是 因为 大 脑 交 
互相 对 平常 识别 一 个 志愿 者 的 意识 状态 需要 更 长 
的 时 间 。 例 如 在 一 种 情况 下 ， 机 器 人 错误 地 转 了 
一 个 圈 ， 因 为 大 脑 交 互 没 有 意识 到 合适 的 意识 状 
态 直到 机 器 人 已 经 通过 一 个 指定 区 域 的 门道 ， 因 此 志愿 者 需要 用 意识 操纵 机 器 人 把 它 带 回 门 
口 。 在 其 他 的 情况 下 ， 机 器 人 的 感应 需 观 察 到 一 堵 墙 或 一 个 角落 非常 近 ， 因 此 使 得 机 器 人 目 
动 停止 来 避免 撞击 。 在 这 些 情 况 下 ， 志 愿 者 需要 用 意识 控制 来 转动 机 器 人 远离 障 人 得， 并 且 重 
新 回 到 轨道 上 。 














图 2-25 ”志愿 者 A 大 脑 意识 指令 
控制 下 的 机 器 人 路 线 轨迹 
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在 第 一 次 的 一 系列 试验 中 ,机 器 人 从 左下 角 的 区 域 离开 ， 然 后 访问 了 其 他 的 三 个 区 域 ， 
定性 地 说 ， 这 个 路 线 轨迹 已 经 相当 好 地 显示 了 机 器 人 按照 预订 的 命令 访问 了 四 个 区 域 ， 被 控 
机 需 人 忠实 地 执行 了 人 类 大 脑 意 识 指令 。 但 是 为 了 评价 脑 控 多 个 机 器 人 方面 的 性 能 表现 ， 志 
愿 者 A 和 B 也 在 有 略微 差距 的 区 域 里 作 了 第 二 次 的 一 系列 试验 ， 这 些 区 域 在 走廊 的 两 边 。 

在 一 个 规定 的 试验 中 ， 机 器 人 必须 从 一 个 初始 区 域 出 发 到 一 个 指定 的 区 域 ， 同 时 也 要 求 
路 经 中 间 的 区 域 。 这 个 区 域 的 顺序 被 任意 指定 。 最 初 ， 志 愿 者 通过 意识 控制 机 器 人 访问 指定 
的 区 域 ， 然 后 志愿 者 手动 控制 机 器 人 沿 着 相同 顺序 访问 。 在 这 种 情况 下 ， 志 愿 者 用 相同 的 控 
制 模式 描述 上 面 的 试验 ， 不 是 发 指令 给 机 器 人 ， 他 只 是 简单 地 按 了 三 个 键 中 的 一 个 。 这 个 模 
式 可 以 比较 大 脑 意识 控制 和 手动 控制 方法 的 优 劣 。 同 时 ， 手 动 轨迹 需要 相当 接近 当前 志愿 者 
设 定 的 最 佳 路 径 。 需 要 指出 的 是 ， 为 什么 最 初 使 用 大 脑 意 识 控制 ， 而 后 的 试验 都 用 手动 控制 
WE, 这样 做 是 为 了 避免 任何 有 助 于 意识 控制 的 学 习 过 程 。 

表 2-5 给 出 了 对 两 个 志愿 者 在 三 个 不 同 的 试验 中 不 同 的 路 线 轨迹 所 用 时 间 对 照 表 ， 还 给 
出 了 在 每 次 试验 中 用 大 脑 意识 控制 和 手动 控制 的 时 间 。 大 脑 意 识 控 制 只 比 手动 控制 多 了 
35% 的 时 间 。 这 个 关系 如 果 在 机 器 人 提高 速度 的 情况 下 将 会 更 糟 ， 因 为 没有 在 正确 的 时 刻 传 
递 正 确 的 命令 的 可 能 性 会 增加 。 






















































































表 2-5 轨迹 控制 时 间 对 照 表 (单位 : s) 
志愿 者 试验 意识 手动 志愿 者 试验 意识 手动 
1 149 124 1 219 156 
2 183 135 2 189 155 
A B 
3 191 129 3 175 117 
平均 值 174 129 平均 值 194 143 








5. 脑 控 虚拟 键盘 

BCI 技术 还 可 以 用 来 从 计算 机 屏幕 的 虚拟 键盘 上 选 

首先 ， 整 个 键盘 (26 个 字母 加 上 它们 之 间 
的 空隙 ， 总 共 是 一 个 有 27 个 符号 的 3 行 x9 列 
的 矩阵 ) 分 为 三 块 ， 每 块 对 应 着 一 项 大 脑 意识 
任务 ， 它 们 之 间 的 联系 在 训练 状态 下 通过 颜色 来 
关联 。 每 块 包括 相同 数目 的 符号 ， 也 就 是 9 个 
(3 行 x3 列 )。 然 后 , 一 旦 统计 分 类 器 识别 出 来 
用 户 正在 注意 哪 块 时 ， 这 个 块 被 分 为 三 个 小 块 ， 
这 样 每 块 中 只 有 3 个 符号 (1 行 )。 当 第 二 层次 
块 中 的 某 一 个 被 选中 时 ， 它 又 被 分 为 三 个 部 分 。 
在 第 三 层 也 是 最 后 层 中 ， 每 块 只 包含 一 个 符号 。 
为 了 选中 要 求 得 符号 ， 用 户 应 注意 由 符号 颜色 来 暗示 的 意识 任务 。 这 个 符号 组 成 信息 ， 整 个 
进程 又 开始 了 。 因 此 ， 写 一 个 单独 字母 的 过 程 需要 三 个 决定 性 的 步 又 。 

首先 ， 整 个 键盘 分 为 三 块 ， 每 块 对 应 着 一 项 大 脑 意识 任务 。 其 次 ， 当 统计 分 类 器 识别 到 
一 项 智能 工作 时 ， 相 应 的 块 就 被 分 为 更 小 的 块 直到 选 定 一 个 字母 。 这 个 字母 进入 信息 (在 





择 字 母 和 书写 信息 ， 如 图 2-26 所 示 。 




















图 2-26 脑 控 虚拟 键盘 
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屏幕 下 方 ) ， 整 个 进程 又 开始 了 。 在 整个 训练 过 程 中 ， 块 和 智能 工作 之 间 的 联系 由 相同 的 颜 
色 上 暗示。 左边 的 块 对 应 的 是 2 号 意识 任务 ， 中 间 的 块 对 应 的 是 1 号 意识 任务 ， 右 边 的 块 对 应 
的 是 3 号 意识 任务 ， 如 图 2-27 所 示 。 

为 了 增加 正确 功能 的 可 靠 性 ， 一 个 块 的 实 
际 选择 还 包含 许多 辅助 的 可 靠 性 测量 (除了 
统计 拒绝 标准 外 ) ， 尤 其 是 在 已 经 选 定 的 各 种 
公众 实证 (包括 现场 直播 的 电视 节目 ) 过 程 
中 。 

更 特别 的 是 ， 仅 仅 当 相应 的 意识 任务 在 一 
行 中 被 识别 出 来 三 次 时 ， 这 部 分 键盘 才 被 选 
定 ， 并 且 如 果 选 择 错误 ， 用 户 还 可 以 通过 立即 
注意 他 选择 的 其 他 工作 而 不 去 做 它 。 因 此 ， 在 图 2.27 ”虚拟 键盘 
完成 每 一 个 选择 进入 下 一 个 层次 时 ， 系 统 会 科 
待 一 段 时 间 (3. Ss) 。 如 果 用 户 没有 最 佳 的 表现 ， 意 识 任务 过 去 常常 不 被 选中 。 

对 于 年 老 的 志愿 者 C， 选 定 一 个 字母 平均 需要 22s， 这 个 时 间 包 括 修 正 错 误 。 尽 管 所 有 
这 些 辅助 检查 都 在 实际 选中 块 之 前 ， 和 其 他 确定 一 个 字母 需要 lmin 或 2min 的 非 主动 性 脑 活 
动 虚拟 键盘 相 比 较 ， 这 个 时 间 段 还 是 有 优势 的 ， 它 和 lmin 写 三 个 字母 的 主动 性 方式 是 相似 
的 。 在 一 些 辅助 检查 要 求 不 严格 的 实验 中 (两 个 连续 的 响应 相同 ， 等 待 时 间 省 略 ， 但 是 为 
放弃 最 后 的 选择 增加 了 辅助 标志 ) ， 志 愿 者 C 写字 母 的 平均 速度 可 以 达到 7s。 更 不 用 说 结合 
统计 语言 模型 或 其 他 用 于 单词 联想 的 技术 ， 如 在 微型 电话 中 的 T9， 将 最 终 加 速写 作 速 度 。 
志愿 者 C 在 非 正 规 的 方式 下 运用 虚拟 键盘 写 短信 (在 1 ~5 个 字母 之 间 ) 的 所 需 时 间 几 乎 长 
到 不 可 忍受 的 程度 。 有 趣 的 是 ， 一 旦 这 个 志愿 者 在 他 训练 的 开始 阶段 有 了 好 的 表现 ， 就 不 必 
经 常 调整 统计 分 类 器 ， 可 以 连续 六 个 月 用 相同 的 分 类 器 来 操作 虚拟 键盘 。 在 测试 模式 1 的 操 
作 时 ， 志 愿 者 C 的 平均 成 绩 是 : 精确 度 为 70. 5% ， 错 误 率 为 2. 8% ， 停 留 在 未 知 响应 的 百 分 
率 是 26.7% 。 

K 2-6 所 示 为 行为 表现 用 精确 度 和 错误 率 来 表示 。 余 下 的 百分率 对 应 的 是 未 响应 的 百 分 






































率 。 在 第 一 个 训练 阶段 ， 用 户 没有 收 到 反馈 。 
表 2-6 两 个 志愿 者 在 一 天 的 连续 训练 阶段 的 结果 (% ) 
志愿 者 2 3 4 5 6 7 
5 精确 度 76.1 55.4 70.6 = = "a 
错误 率 4.9 7.3 7.2 一 一 — 
i 精确 度 55.6 62.0 65.0 59.9 65.4 65.9 
错误 率 13. 1 7.4 9.2 8.8 11.8 4.8 























除了 年 老 的 用 户 ， 其 他 的 两 个 志愿 者 在 一 天 内 就 学 会 了 操作 虚拟 键盘 。 志 愿 者 D 是 一 
位 在 展览 领域 做 训练 的 女性 。 在 完成 模式 1 系统 操作 的 最 初 4 个 训练 阶段 后 ， 她 已 经 能 够 在 
毫 无 错误 的 情况 下 编写 短信 。 志 愿 者 是 在 他 的 家 里 训练 的 ， 他 在 模式 1 的 系统 操作 下 训 
练 了 4 个 阶段 ， 然 后 也 能 成 功 地 使 用 虚拟 键盘 。 不 过 ， 没 有 测定 这 些 志愿 者 的 写字 速度 ， 他 
们 明显 低 于 志愿 者 C。 表 2-6 显示 了 志愿 者 D AE 在 不 同 训练 阶段 的 成 绩 。 
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6. 讨论 

本 节 讲 述 了 有 五 个 志愿 者 参加 的 使 用 便携 式 非 介入 大 脑 计算 机 接口 控制 走 迷 宫 机 器 人 和 
虚拟 键盘 的 实验 研究 。 这 里 的 BCI 技术 主要 是 采用 了 对 于 不 同志 愿 者 EEG 脑 电 特 征 的 机 器 
学 习 算 法 和 用 于 EEG 脑 电信 号 在 线 分 析 的 异步 数据 通信 协议 。 这 种 BCI 技术 与 先进 机 器 人 
控制 策略 相 结合 ， 使 得 在 室内 环境 中 用 大 脑 意识 直接 控制 机 器 人 (轮椅 ) 成 为 可 能 。 

在 实验 中 ， 对 于 两 种 任务 用 限制 闷 值 可 以 分 为 三 类 问题 ， 随 机 分 类 方法 最 多 可 以 实现 
33.3% 的 正确 行为 反应 。 在 采用 I 类 模型 训练 之 后 ， 所 有 志愿 者 在 大 约 3000 个 样本 训练 当 
中 表现 出 超过 65% 的 正确 分 类 行为 。 为 了 估 定 统计 方法 的 正确 性 ， 把 这 个 样本 以 每 500 个 
样品 为 一 批 分 为 6 批 。 正 确 行为 反应 的 准确 率 是 70.5% + 上 9.0% ， 显 然 高 于 随机 分 类 方法 
(33. 3% ) 。 但 是 仅仅 依靠 偶然 大 脑 意识 操作 这 两 种 应 用 是 不 可 能 的 。 例 如 ， 为 了 选 定 一 个 
给 定 的 字母 ， 接 口 必须 做 出 3 个 选择 。 从 而 概率 是 (1/3) 的 3 次 方 ， 每 个 字母 和 写 一 个 5 
个 字母 的 单词 是 (1/3) 的 15 次 方 。 相 似 地 ， 由 于 志愿 者 要 在 一 个 通道 内 传输 最 小 13 个 大 
脑 指 令 ， 那 么 控制 机 器 人 的 可 能 性 也 是 很 小 的 ， 从 而 发 生 一 个 正确 信道 的 概率 是 (1/3) 的 
13 次 方 。 

如 果 要 把 脑 控 机 器 人 的 控制 系统 扩展 为 能 够 完成 更 加 复杂 的 任务 则 有 两 种 方法 : 一 个 是 
仍然 保持 同样 少数 大 脑 意识 状态 和 增加 控制 系统 的 复杂 性 ， 这 可 能 导致 只 依靠 直觉 上 不 能 实 
用 的 一 种 BCI 技术 ; 男 一 种 是 保持 控制 系统 的 复杂 性 和 增加 分 类 器 可 以 识别 的 大 脑 意识 状态 
数量 ， 但 是 EEG 处 理 的 能 力 是 有 限 的 ， 这 是 一 个 挑战 。 此 外 试验 时 ,许多 大 脑 意 识 状 态 不 
能 被 EEG 进行 快速 的 可 视 化 反馈 识别 。 

BCI 技术 需要 进一步 研究 ， 以 获取 更 快 的 书写 速度 和 满足 残疾 人 对 机 器 人 轮椅 的 复杂 操 
作 。 把 这 里 的 BCI 技术 用 到 机 器 人 轮椅 中 还 不 成 熟 ， 一 是 因为 残疾 人 坐 在 移动 的 运动 平台 上 
操作 BCI 交互 的 难度 太 大 ， 使 用 者 需要 长 时 间 的 BCI 使 用 训练 。 其 次 ， 当 前 有 限 的 BCI 指令 
只 能 控制 几 个 简单 的 动作 ， 不 能 满足 实际 应 用 的 要 求 。 不 过 ， 最 近 EEG 分 析 技 术 的 进展 表 
明 ， 许 多 大 脑 意识 状态 可 以 被 识别 用 来 控制 机 器 人 ， 可 以 使 用 一 种 更 自然 灵活 的 方式 来 加 快 
与 虚拟 键盘 的 交互 。 将 把 有 更 多 电极 (32 个 、64 个 或 更 多 ) 记录 的 微小 电位 转变 成 脑 电 图 
来 获取 在 小 范围 大 脑 表 面 区 域 活动 的 细节 信息 。 骨 入 在 BCI 装置 中 的 高 斯 分 类 器 能 够 对 这 些 
脑 电 图 的 所 选区 域 分 析 ， 而 不 对 EEG 特征 产生 影响 。 

一 个 重要 的 要 求 是 ， 把 BCI 经 常 地 与 使 用 者 进行 交互 。 这 是 因为 当 使 用 者 获得 经 验 时 ， 
他 们 具有 了 新 的 能 力 和 改变 EEG 脑 电信 号 的 模式 。 另 外 ， 大 脑 活动 总 是 在 自然 地 发 生变 化 。 
这 就 是 从 一 个 样本 〈 分 类 器 通过 其 训练 数据 所 得 到 ) 到 下 一 个 样本 (分 类 器 在 此 得 以 应 用 ) 
的 一 种 情况 。 当 志愿 者 操作 一 个 脑 控 设备 时 ， 面 临 的 挑战 是 要 适应 在 线 分 类 器 。 初 步 的 结果 
表明 这 种 方法 对 于 用 户 在 最 初 训练 时 的 好 处 ， 即 一 个 重要 的 结果 是 来 保持 他 们 的 动机 和 帮助 
他 们 快速 到 达 稳 定 的 执行 状态 。 


2.5 人 工大 脑 简 单 记忆 功能 的 电路 实现 
本 节 要 讲述 的 是 ， 依 据 人 工 智能 的 方法 ， 采 用 电子 设计 自动 化 (EDA) 软件 平台 设计 


电子 线路 ， 并 使 之 能 够 实现 对 人 脑 功能 的 部 分 模拟 。 具 体 地 说 ， 就 是 设计 一 个 电子 线路 ， 模 
拟 Hopfield 神经 网 络 ， 在 信息 不 完整 的 状况 下 ， 实 现 数 字 的 记忆 联想 判断 的 大 脑 思维 功能 。 
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也 就 是 讲述 人 工大 脑 简单 功能 的 电子 实现 方法 。 
2.5.1 Hopfield 神经 网 络 


Hopfield 神经 网 络 是 一 种 神经 动力 学 系统 ， 具 有 稳定 的 平衡 状态 ， 即 存在 着 吸引 子 ， 
而 Hopfield 神经 网 络 具 有 联想 记忆 功能 。 将 Hopfield 神经 网 络 作为 联想 记忆 网 络 需要 设计 或 
训练 网 络 的 权 值 ， 使 吸引 子 存储 记忆 模式 。 比 如 ， 现 在 欲 存 储 m 个 n 维 记 忆 模 式 ， 那么 就 
要 设计 网 络 的 权 值 使 这 个 m 个 模式 正好 是 网 络 能 量 函 数 的 m 个 极 小 值 。 和 常用 的 设计 或 学 习 
算法 有 : 外 积 法 (Outer Product Method) 、 投 影 学 习 法 (Projection Learning Method) 、 违 逆 法 
(Pseudo Inverse Method) 及 特征 结构 法 (Eigen Structure Method) 等 。 

设 网 络 有 NN 个 神经 元 ， 每 个 神经 元 均 取 1 或 -1 两 个 值 ， 则 网 络 共 有 2” 个 状态 ， 这 2" 
个 状态 构成 离散 状态 空间 。 设 在 网 络 中 m 个 n 维 记忆 模式 为 

m<n=:U,= [ut us, un], 
k=1,2,+++,m; i=1,2,…,n; ufe | -1,1} (2-5) 

采用 外 积 法 设计 网 络 的 权 值 ， 使 这 种 m 个 模式 是 网 络 2” 个 状态 空间 中 的 m 个 稳定 状 

态 ， 即 





wj = Ny uju; (i = 1,2,---,n3j = 1,2,.…,n) (2-6) 
= 


式 中 的 1ZN 作为 调节 比例 的 常量 ， 这 里 取 V =n。 考 虑 到 离散 Hopfield 神经 网 络 的 权 值 满足 
如 下 条 件 : w; =w;; w,=0, WA 


Wy = 


an 4 j i (2-7) 
0 Gj = i) 
将 式 (2-7) 用 和 矩阵 形式 表示 ， 则 有 
w= 1 (PUv-m) (2-8) 


式 中 , TA nxn 单位 矩阵 。 

以 上 是 离散 Hopfield 神经 网 络 的 存储 记忆 过 程 ， 下 面 再 看 其 联想 回忆 过 程 。 从 所 记忆 的 
m 个 模式 中 任 选 设 一 模式 U,， 经 过 编码 可 使 其 元 素 取 值 1 和 -1。 设 离散 Hopfield 神经 网 络 
中 神经 元 的 偏差 均 为 零 。 将 模式 U, 加 到 该 离散 Hopfield 神经 网 络 ， 假 定 记忆 模式 向 量 彼此 
是 正 交 的 〈 这 个 是 特例 ， 容 易 检 验 ) ， 则 网 络 的 状态 为 


ee 
vv,=| G » i j=1,2,=,m (2-9) 
”ln (j=i) 
wu, = + ( $ UU; -mI )U, = (n - m)U, (2-10) 
k=l 


状态 的 演化 为 sgn = (WU,) =sen((n-m)U,) =U,, 可 见 网 络 稳定 在 模式 U,。 
例如 ， 对 于 两 个 记忆 模式 (1, -1, 1) 和 ( -1, 1, -1) (这 是 一 个 记忆 模式 向 量 非 
正 交 的 例子 ) ， 按 式 (2-7) 设计 网 络 权 值 为 
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可 见 该 权 值 满足 离散 Hopfield 网 络 的 的 条 件 。 现 将 (1, -1, 1) 作为 网 络 的 输入 ， 则 有 
0 -2 +2] +1 +4 
Wiel) F <2 clef“ 
+1 +4 


可 见 状 态 (1, -1, 1) 为 网 络 的 稳定 状态 ， 即 网 络 记 住 了 该 状态 。 同 样 ， 对 状态 向 量 
(-1, 1, -1) 而 言 ， 有 


人 
Wy, => = i: safa -4 
+2 a ia 


=l 
+1 |=7 
=1 


可 见 状 态 ( -1, 1，-1) 也 是 网 络 的 稳定 状态 ， 即 网 络 也 记 住 了 该 状态 。 

Hopfield 神经 网 络 的 运行 步 又， 

第 一 步 : 设 定 记 忆 模 式 。 将 欲 存储 的 模式 进行 编码 ， 得 到 权 值 为 1 和 -1 的 记忆 模式 为 
(m<n): U,= Ly gle ,| (k=1,2,-+:,m) 


第 二 步 : 设计 网 络 的 权 值 。 











-4 
+4 
-4 








sgn[ Wy, ] = 





1 M 
ouu eh 
Wj = ) Ml pei i 





0 Gi =i) 
式 中 ，w; 是 神经 元 j 到; 突 触 权 值 ， 一 旦 计算 完毕 ， 突 触 权 值 将 保持 不 变 。 

第 三 步 : 初始 化 网 络 状态 。 将 欲 识 别 模式 Ul = [uuu |" 设 为 网 络 状态 的 
初始 状态 , 即 w(0) =u’, w(0) 是 网 络 中 任意 神经 元 ;在 !=0 时 刻 的 状态 。 

第 四 步 : EAC, ARH ASK 


v(t+1) = sgn | Dl) | (t =t+1) 

随机 地 更 新 某 一 神经 元 的 状态 ， 反复 迭代 直至 网 络 中 所 有 神经 元 的 状态 不 变 为 止 ， 假设 
此 时 的 上 =7。 

第 五 步 : 网 络 和 输出。 这 时 的 网 络 状态 (稳定 状态 ) 即 为 网 络 的 输出 y =w(7) 。 

以 上 的 第 一 步 和 第 二 步 是 神经 网 络 记 忆 过 程 ， 第 三 步 至 第 五 步 所 组 成 的 迭代 过 程 是 神经 
网 络 的 联想 过 程 。 

对 于 以 上 所 介绍 的 Hopfield 神经 网 络 ， 需 要 做 几 点 说 明 : 

1) 以 上 所 介绍 的 Hopfield 神经 网 络 的 激励 函数 为 符号 函数 ， 即 神经 元 的 状态 取 1 和 =-1 
的 情况 。 对 于 神经 网 络 的 激励 函数 为 阶 路 函数， 即 神经 元 的 状态 取 1 和 0 时 ， 相 应 的 公式 有 
所 变化 。 设 在 网 络 中 存储 m 个 n 维 的 记忆 模式 (m <n): 


k k k kT 
U, 一 [ui U2 Uj 50 || 
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(k=1,2,-+,m; i=1,2,-+,n; ube {0,1} ) (2-11) 

对 we | -1,1| 的 情况 ,前 面 已 经 讨论 过 了 ,而 当 w e140,1| 时 ,可 以 进行 一 个 变换 ,即使 
得 (2u -1)e | -1,1} ,所 以 用 (2wt -1) 代 换 前 面 公式 中 的 uf 即 可 。 

2) Hopfield 神经 网 络 的 记忆 容量 就 是 在 一 定 的 联想 出 错 概率 容 限 下 ， 网 络 中 存储 互 不 干 
扰 样 本 的 最 大 数目 。 记 忆 容 量 9 反映 所 记忆 的 模式 m 和 神经 元 数目 NN 之 间 的 关系 : 9 =m 
N, WI m 个 模式 所 需 的 神经 元 数 N =m/9 ， 连 接 权 值 数目 为 (m/9)?, 若 9 增加 一 倍 ， 连 接 
权 值 数目 将 为 原来 的 1/4 ， 这 是 一 对 矛盾 ， 在 技术 实现 上 也 是 很 困难 的 。 实 验 和 理论 研究 表 
HH, Hopfield 神经 网 络 记 忆 容 量 的 上 限 为 0. 15N。 

3) Hopfield 神经 网 络 存在 伪 状 态 (Spurious State) ， 伪 状态 是 指 除 记忆 状态 之 外 网 络 多 
余 的 稳定 状态 。 从 以 上 对 Hopfield 神经 网 络 的 分 析 可 见 ， 要 构成 一 个 对 所 有 输入 模式 都 很 合 
适 的 Hopfield 神经 网 络 是 很 不 容易 的 ， 需 要 满足 的 条 件 是 很 苛刻 的 。 所 记忆 的 模式 m 过 大 ， 
权 值 矩阵 W 中 会 存在 若干 个 相同 的 特征 值 ; 所 记忆 的 模式 m/h THAIC N, BCE 
阵 W 中 会 存在 若干 个 0, 构成 所 谓 的 零 空 间 。 因 此 ， 零 空间 存在 于 网 络 中 ， 零 空间 是 
Hopfield 神经 网 络 的 一 个 固有 特性 ， 即 Hopfield 神经 网 络 不 可 避免 地 存在 着 伪 状 态 。 


2.5.2 电路 设计 


1. 系统 的 功能 目标、 目的 

为 何 选择 联想 记忆 功能 进行 模拟 : 联想 记忆 是 神经 网 络 理论 的 重要 组 成 部 分 ， 也 是 神经 
网 络 用 于 智能 控制 、 模 式 识别 与 人 工 智能 等 领域 的 一 个 重要 功能 。 而 且 它 具有 成 形 的 数学 模 
型 进行 功能 的 描述 ， 这 对 于 跨 学 科 (电子 信息 科学 与 神经 科学 ) 的 研究 是 至 关 重 要 的 。 因 
为 要 用 电子 技术 即 EDA 技术 对 神经 科学 进行 模拟 ， 就 要 搞 清 EDA 技术 中 的 各 个 器 件 对 应 的 
计算 单元 或 整体 所 表达 的 数学 方程 式 ， 因 此 对 功能 的 清晰 数学 描述 是 关键 。 

设计 采用 Hopfield 神经 网 络 ， 是 由 于 它 是 反馈 神经 网 络 ， 也 是 一 个 反馈 动力 学 系统 ， 具 
有 很 强 的 计算 能 力 ， 并 且 运 算 原 理 清 晰 ， 原 理 与 联想 记忆 相似 ， 极 适合 于 表达 联想 记忆 功 
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本 系统 采用 MAX + plus 软件 ， 是 由 于 它 具 有 原理 图 输入 和 文本 输入 (采用 硬件 描述 
语言 ) 两 种 输入 手段 ， 利 用 该 工具 所 配置 的 编辑 、 编 译 、 仿 真 、 综 合 、 芯 片 编程 等 功能 ， 
将 设计 电路 图 或 电路 描述 程序 变 成 基本 的 逻辑 单元 写 人 到 可 编程 的 芯片 〈 如 FPGA 现场 可 编 
程 门 阵列 芯片 ) P, WUR ASIC 芯片 。 这 里 利用 MAX + plus 开 中 的 文本 输入 和 VHDL ( 超 高 
速 集成 电路 描述 语言 ) 编写 程序 。 该 语言 是 自 顶 向 下 的 硬件 电路 描述 语言 ， 通 过 人 和 计算 
机 都 能 看 懂 的 语言 描述 电路 设计 ， 使 设计 更 简便 ， 并 可 进行 仿真 。 这 里 用 以 描述 人 工 智能 学 
中 的 Hopfield 神经 网 络 ， 再 试图 将 此 程序 利用 FPGA 硬件 实现 出 来 ， 让 人 们 能 够 直观 地 、 清 
晰 地 看 到 联想 记忆 的 过 程 、 效 果 和 结果 。 

目的 是 用 电子 信息 技术 中 的 硬件 系统 表达 出 停留 在 理论 上 的 Hopfield 神经 网 络 ， 并 模拟 
联想 记忆 这 一 人 脑 功能 ， 使 电子 信息 技术 和 脑 科 学 结合 起 来 。 目 标 是 用 硬件 表达 出 模拟 成 
果 ， 并 可 使 观察 者 清晰 、 直 观 地 观察 到 联想 记忆 的 结果 。 

2. 技术 指标 

本 系统 采用 16 个 神经 元 ， 即 16 个 计算 单元 组 成 Hopfield 神经 网 络 。 最 后 的 仿真 结果 将 
下 载 ， 用 可 编程 逻辑 器 件 显示 。16 个 神经 元 将 用 16 个 小 灯 显 示 ， 组 成 4x4 的 方 阵 。 由 前 
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所 述 ，Hopfield 联想 记忆 网 络 记 忆 容 量 的 上 限 为 0. 15N， 此 时 N=16， 则 记忆 容量 为 0. 15 x 
16 =2.4， 即 可 以 记 住 至 多 两 个 稳定 状态 ， 这 里 为 了 方便 起 见 ， 让 网 络 记 住 了 一 个 稳定 状态 。 
网 络 运行 时 可 以 输入 形似 4 的 图 形 ， 让 网 络 自行 运行 ， 网 络 会 一 步 一 步 趋向 设 定 的 稳定 状 
态 。 这 就 类 似 于 人 脑 的 联想 记忆 功能 ， 即 看 到 类 似 于 自己 曾经 记忆 过 的 图 形 ， 会 联想 起 以 前 
的 图 形 。 

3. 数据 设 定 

在 编写 程序 之 前 要 设 定 一 些 必 要 的 数据 ， 首 先 要 设 定 与 所 记忆 模式 相关 的 网 络 权 值 。 

本 设计 要 求 系统 事先 记忆 目标 模式 ， 而 目标 模式 的 记忆 是 由 设 定 网 络 权 值 来 实现 的 。 由 
以 上 所 述 ， 这 几 要 记忆 的 目标 模式 如 图 2-28 所 示 。 















































1 0 1 0 1 1 
1 1 
其 实 它 就 是 _“ 个 4x4 的 矩阵 . |1 0 1 0 ! ! 
1 1 1 ] 1 1 
0010 
此 矩阵 安排 的 顺序 ， 也 就 是 安排 神经 元 a_ 的 顺序 是 从 a, 到 


图 2-28 ”目标 模式 示意 图 





au 时 ， 由 从 左 到 在、 从 上 到 下 、 先 横 排 、 后 纵 排 的 顺序 排列 的 。 
左上 角 是 a,,， 右 下 角 是 a,i。。 那 么 日 标 模式 写成 16 位 二 值 逻辑 形式 就 是 “1010 1010 1111 
0010”。 有 了 这 个 要 求 记忆 的 模式 ， 就 可 以 根据 下 式 计算 出 权 值 矩阵 : 

| a 
wo nein G2) 











(2-12) 


程序 中 权 值 矩 阵 部 分 数值 如 下 : 
--w 1 1:=0;w_1 2:= -625;w_1 3: =625; w_1_4; = -625;w_1_5:= 


w 1 6:=-625;w 1 7:=625;w 1 8:= -625;w 1 9:=625;w 1 10: = 


w 1 11:=625;w 1 12:=625;w 1 13:= -625;w 1 14: = -625; 

w 1 15:=625;w 1 16; = -625。 

在 计算 时 ， 真 正 的 矩阵 中 的 数值 应 该 都 是 0. 0625 或 -0.0625 ( 除 自 反 馈 权 值 为 0 外 )， 
这 里 都 改 成 了 625 和 -625 ， 待 写 在 程序 中 时 ， 又 都 改 成 了 1 或 -1， 这 样 做 的 原因 是 便于 程 
序 运算 处 理 。 

程序 中 还 要 设 定 初 值 。 由 于 程序 中 定义 16 位 总 线 端口 的 语句 是 16 DOWNTO 1， 也 就 是 
从 au 开始 定义 到 ac ， 所 以 程序 中 的 顺序 与 上 面 所 说 的 顺序 正好 相反 ， 是 从 右 下 角 到 左上 
角 。 那 么 目标 模式 就 应 该 是 “0100 1111 0101 0101”， 用 十 六 进 制 数 表示 就 是 “4F55”。 设 
定 的 检测 模式 和 矩阵 为 
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设 定 为 “0100 1001 0101 0010”， 用 十 六 进 制 数 表 示 为 “4952”。 
2.5.3 电路 的 实现 过 程 与 实验 结果 


1. 实现 过 程 

用 Hopfield 神经 网 络 来 表达 人 脑 的 联想 记忆 这 一 功能 。 并 采用 EWB 或 Multisim 软件 来 
形成 原理 图 ， 即 用 这 些 软件 提供 的 仿真 元 器 件 进 行 连接 ， 用 元 器 件 组 成 神经 元 ， 再 把 这 些 神 
经 元 连接 成 Hopfield 反馈 网 络 ， 但 这 个 方案 遇 到 了 困难 。 首 先是 设 定 网 络 的 初始 状态 有 困 
难 ， 设 定 后 无 法 撤销 初始 状态 使 其 自动 运行 。 其 次 是 数目 过 多 的 神经 元 使 加 权 相 加 的 实际 实 
现 发 生 困 难 ， 要 用 一 个 相 加 器 实现 15 个 数字 的 相 加 是 非常 不 容易 的 。 再 次 ， 电 原理 图 所 模 
仿 的 神经 元 网 络 需要 有 能 量 的 提供 ， 可 是 理论 上 的 网 络 找 不 到 能 量 输入 的 环节 ， 因 此 网 络 的 
自动 运行 便 无 法 实现 。 图 2-29 是 用 EWB 所 做 的 电 原理 图 ， 为 简便 起 见 ， 这 里 用 了 三 个 神经 
元 来 说 明 原理 : 






































图 2-29 H EWB 所 做 的 三 个 神经 元 的 电 原 理 医 














鉴于 以 上 原因 ， 改 用 VHDL 来 编写 程序 ， 实 现 神 经 元 网 络 的 连接 与 模拟 。 这 样 可 以 做 
到 不 关心 网 络 内 部 的 具体 结构 ， 从 而 解决 了 找 不 到 神经 元 电路 的 具体 实现 以 及 无 法 正确 地 将 
这 些 电 路 连接 到 一 起 而 实现 联想 记忆 网 络 的 问题 。 在 计算 机 上 用 VHDL 编写 成 功 后 ， 还 可 
以 直接 进行 编译 、 综 合 、 模 拟 记忆 以 及 仿真 ， 最 后 如 果 成 功 仿 真 ， 还 可 下 载 到 FPGA 板 上 ， 
进行 硬件 实现 ， 所 以 更 为 直观 。 

在 编写 的 过 程 中 ， 开 始 时 的 设计 是 要 设计 in_1 _1, in 1 2 等 16 个 输入 端口 和 1 1 
1,1 1 _2 等 16 个 与 之 对 应 的 输出 端口 ， 实 际 上 就 是 设想 中 的 16 个 小 灯 组 成 的 4 x4 A 
阵 。W_1_1、W _1_2 分别 代表 神经 元 1 到 神经 元 1、2 的 连接 权 值 ， 直 到 W 16 16, 
FE 256 个 连接 权 值 。 设 ml1 ，m2 ，…，ml16， 共 16 个 中 间 变 量 , h_1~h_16 共 16 个 比较 变 
量 ， 用 于 比较 加 权 后 的 结果 与 0 之 间 的 大 小 关系 。 由 于 输入 与 输出 都 是 位 运算 ， 即 0 或 者 1 
两 种 状态 ， 因 此 在 计算 过 程 中 要 变 为 -1 和 1 两 种 状态 ， 这 样 既 简便 易 懂 又 与 理论 贴近 ， 这 
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就 需要 把 输入 赋值 给 中 间 变 量 的 过 程 中 转换 状态 ， 最 后 再 把 计算 结果 变 成 0 和 1 输出 。 在 由 
输入 给 中 间 变 量 赋值 的 过 程 中 ， 开 始 采用 LOOP 〈 循 环 ) 语句 赋值 ， 即 
chan: FOR i IN 1 TO 16 LOOP 
IF(an i<1) THEN 
an_i< = -l; 
ELSE 
an_i< =l; 
END IF; 

END LOOP chan; 

但 是 在 VHDL 中 , 不 像 C++ 语言 中 的 变量 赋值 那样 可 以 直接 对 an (i) 这 样 的 变量 进 
行 循环 赋值 。 而 在 VHDL 语言 中 ， 变 量 加 编号 只 能 用 下 划 线 “_ ”连接 ， 写 成 am i, Ale 
不 能 用 上 面 那个 循环 语句 进行 直接 循环 赋值 。 因 此 要 将 输入 输出 的 类 型 改 为 总 线 型 结构 ， 即 
可 循环 赋值 ， 即 an: INOUT BIT VECTOR (16 DOWNTO 1); an 为 16 位 总 线 结构 ， 输 入 输 
出 双向 端口 。 但 由 于 中 间 变 量 m 仍然 是 一 个 一 个 的 单独 变量 ， 所 以 放弃 用 循环 赋值 ， 而 改 
用 IF…ELSE 语句 进行 赋值 ， 即 

IF (an(1) ='0') THEN 

ml: = -1; 
ELSE 

ml; =1; 
END IF; 

这 个 语句 用 16 次 ， 即 可 将 输入 转化 为 中 间 变 量 要 使 用 的 -1 和 1 两 值 状态 。 

h 是 每 个 神经 元 的 加 权 和 ， 用 以 和 0 比较 大 小 进而 决定 该 神经 元 下 一 个 时 刻 的 输出 。 加 
权 语句 为 

h 1:=m2xw 2 1+m3xw 3 1+m4xw 4 1L+m5*w 3 1+m6*w 6 1+ 
m *w 7 1+m8xw 8 1+m9xw 9 Lt+ml0*w 10 1+mllxw ll1 1+ml2xw 
12 1+ml3xw 13 1+ml4xw 14 1L+ml5*w_ 15 1+mloxw 16 l; 

其 中 ， 各 个 m 为 其 他 神经 元 本 时 刻 的 输出 ; w 为 对 应 的 权 值 ， 在 程序 开始 时 已 经 根据 
目标 状态 由 计算 得 出 并 设 定好 。 共 有 16 个 这 样 的 语句 ， 分 别 与 16 个 神经 元 的 判断 机 制 相对 
应 。 

得 出 相 加 结果 后 ， 再 用 IF 语句 判断 其 与 0 的 大 小 关系 ， 并 依 此 为 输出 及 下 一 个 状态 赋 
值 。 其 语句 如 下 : 

IF (h_1>0) THEN 

















an(1) < ='1'; 
ELSE 

an(1) < ='0'; 
END IF; 





同样 ， 这 样 的 语句 有 16 个， 将 计算 结果 又 返回 给 神经 元 的 输出 而 显示 出 来 ， 同 时 又 为 
下 一 次 计算 准备 了 数据 。 
上 述 整 个 过 程 都 是 舱 套 在 一 个 大 的 循环 里 面 ， 这 个 循环 用 F 语句 引导 ， 以 时 钟 信号 的 
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上 升 沿 为 激活 信号 ， 使 得 每 有 一 个 时 钟 上 升 沿 来 临时 ， 系 统 运 行 一 次 计算 ， 这 样 一 直人 迭代 计 
算 下 去 。 其 语句 为 

IF(clk’ EVENT AND clk ='1') THEN 

END IF; 

接 下 来 进入 调试 阶段 。 

在 调试 时 ， 首 先 权 值 的 设 定 出 现 问题 。 权 值 是 根据 所 设 定 的 状态 按 公 式 推算 出 来 的 。 记 
住 的 状态 是 图 形 “4”，,， 根据 计算 ,除了 对 自身 的 反馈 权 值 为 0 外 ， 其 他 的 反馈 权 值 都 为 
0. 0625 或 -0. 0625。 在 编译 时 ， 系 统 报错 ， 经 查阅 资料 发 现 MAX + plus 开 开 发 软件 不 支持 
浮 点 型 数据 的 计算 ， 这 就 说 明 这 样 的 权 值 是 不 可 以 的 。 由 于 及 是 m 与 权 值 相 乘 后 相 加 的 结 
果 ， 而 后 还 要 与 0 做 比较 ， 所 以 想到 可 以 在 两 边 都 同时 乘 以 相应 的 倍数 ， 结 果 不 变 。 这 样 ， 
0 乘 以 任何 数 还 是 0， 而 h 式 里 面 的 15 个 权 值 就 可 以 乘 以 10000， 而 变 成 625 或 -625 这 样 
的 整数 加 以 运算 了 。 这 样 改过 之 后 ， 消 除了 语法 上 的 错误 ， 开 始 进行 编译 和 综合 过 程 。 

2. 实验 结果 e 

下 面 是 整个 过 程 的 说 明 以 及 
相关 的 图 片 和 演示 。 图 2-30 是 
部 分 程序 界面 。 

程序 调 通 后 开始 编译 过 程 ， 
图 2-31 就 是 编译 通过 后 的 情景 。 

仿真 通过 后 可 以 打开 波形 图 
察看 仿真 结果 ， 图 2-32 是 仿真 
结果 波形 。 

从 图 2-32 中 可 以 看 到 输入 
nos AWN fa > clk, 输出 为 
cn， 它 们 在 图 中 的 模式 都 是 16 图 2-30 ”部 分 程序 界面 
位 总 线 结构 ， 用 4 位 十 六 进 制 数 
来 表示 。 输 出 的 初始 值 为 0， 当 
第 一 个 上 升 沿 来 临时 ， 系 统 开 始 
计算 ， 从 而 使 系统 的 输出 状态 达 
到 稳定 状态 4F55 。 

其 实 ， 系 统 是 经 过 计算 而 逐 
步 趋向 于 稳定 态 4F55 的 ， 只 是 
由 于 设 定 的 目标 模式 较 少 ， 比 较 
简单 ， 而 加 快 了 趋向 过 程 ， 从 而 
看 不 到 中 间 的 去 向 步骤 。 但 是 将 
波形 图 放大 ， 还 是 会 看 见 一 些 中 
间 的 不 稳定 状态 ， 从 而 证 明了 系 
统 的 逐步 趋向 性 ， 图 2-33 就 是 放大 波形 图 后 看 到 的 中 间 环 节 。 

最 后 ， 这 个 系统 还 在 FPGA 现场 可 编程 门 阵列 器 件 上 得 以 硬件 实现 。 图 2-34 就 是 在 硬 
件 上 显示 结果 的 照片 。 



























































图 2-31 编译 通过 后 界 务 
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可 以 看 见 ， 逻 辑 器 件 板 上 的 右上 方 有 一 排 16 个 小 灯 ， 从 左 至 右 分 别 代 表 输 出 cnl ~ 
cnl0。 

照片 上 显示 的 就 是 输出 达到 稳定 的 目标 状态 的 时 刻 。 如 果 小 灯亮 为 1、 灭 为 0， 则 可 以 
看 见 小 灯 的 亮 灭 情况 为 “1010 1010 1111 0010”。 虽 然 这 款 板子 上 没有 4 x4 的 和 矩阵 形 小 灯 ， 
但 通过 重 置 ， 仍 可 以 直观 地 看 到 结 
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232 ”仿真 结果 波形 图 2-33 ”放大 波形 图 后 看 到 的 中 间 环 节 
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图 2-34 在 硬件 上 显示 的 实验 结果 





60 

















如 果 把 这 些小 灯 从 左 至 右 每 4 个 为 一 个 横行 ， 就 可 以 排 成 一 个 4 x 4 EE, SO : 


1 0 1 0 
1 01 0 
11141 
0 0 1 0 





我 们 可 以 清晰 地 看 到 ， 预 先 设 定 的 目标 模式 图 形 “4”， 显 示 在 我 们 面前 。 
本 节 采 用 EDA 构建 了 Hopfield 神经 网 络 电路 ， 用 于 模拟 联想 记忆 功能 的 部 分 人 脑 功能 ， 

















让 电路 识别 与 曾经 记忆 过 的 模式 大 体 相仿 但 又 不 尽 相同 的 模式 时 ， 能 够 联想 起 记忆 过 的 模 
A, 并 逐步 趋向 于 输出 初始 记忆 模式 。 但 是 这 个 研究 还 不 深入 ， 实 现 的 功能 还 很 简单 ， 它 只 








是 给 出 了 一 种 人 工大 脑 的 实现 思路 ， 未 来 的 电子 技术 和 神经 科学 以 及 人 工 智能 技术 相 结合 研 





究 的 道路 还 很 长 。 
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3.1 概论 


人 工 情感 ( Artificial Emotion ) 是 利用 信息 科学 的 手段 对 人 类 情感 过 程 进行 模拟 识别 和 理 
解 ,使 机 需 能 够 产生 类 人 情感 ,并 与 人 类 进行 自然 和 谐 地 人 机 交互 的 研究 领域 。 目 前 对 人 工 情 
感 的 研究 主要 有 两 个 相关 领域 :情感 计算 ( Affective Computing) 和 感性 工学 (Kansei Engineer- 
ing) 。 人 工 情感 的 研究 内 容 \ 文 撑 学 科 与 搁 术 如 图 3-1 所 示 ,其 应 用 领域 如 图 3-2 所 示 。 
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图 3-1 人 工 情感 的 研究 内 容 、 支 撑 学 科 与 技术 
国内 外 相关 研究 情况 如 下 : 





很 久之 前 ， 人 们 就 注意 到 了 情绪 对 认 知 、 情 绪 对 智能 的 作用 ， 即 情绪 与 认 知 、 情 绪 与 知 
能 之 间 的 关系 。1981 年 就 有 人 研究 人 工 情感 问题 ,但 只 是 在 1990 年 以 后 才 开 始 逐 渐 引 起 人 
们 的 注意 。 

1. 情感 计算 

让 计算 机 具有 情感 能 力 首先 是 由 美国 麻 省 理工 学 院 Minsky 教授 ( 人工 智能 创始 人 之 一 ) 
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提出 的 。 他 在 1985 年 的 专著 《The Society of Mind (意识 社会 )》 中 指出 ， 问 题 不 在 于 智 角 
机 器 能 否 有 任何 情感 ， 而 在 于 机 器 实现 智能 时 怎么 能 够 没有 情感 。 从 此 ,赋予 计算 机 情感 能 
力 ， 并 让 计算 机 能 够 理解 和 表达 情感 的 研究 、 探 讨 引起 了 计算 机 界 许多 人 士 的 兴趣 。 美 国 
MIT 媒体 实验 室 的 R. Picard 教授 于 1995 年 提出 情感 计算 (Affective Computing) 的 概念 ， 并 
于 1997 年 正式 出 版 专著 《Affective Computing (情感 计算 )》。 在 该 书 中 ， 她 定义 “情感 计算 
是 与 情感 相关 、 来 源 于 情感 或 能 够 对 情感 施加 影响 的 计算 ”。 所 谓 的 情感 计算 就 是 试图 赋予 
计算 机 像 人 一 样 的 观察 、 理 解 和 生成 各 种 情感 特征 的 能 力 。 情 感 计算 研究 就 是 试图 创建 一 种 
能 感知 、 识 别 和 理解 人 的 情感 ， 并 能 针对 人 的 情感 做 出 智能 、 灵 敏 、 友 好 反应 的 计算 机 系 
统 。 
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图 3-2 人工 情感 的 应 用 领域 


R. Picard 将 情感 计算 的 研究 内 容 具体 分 为 九 个 方面 : 情感 机 理 、 情 感 信息 的 获取 、 人 情感 
模式 识别 、 情 感 的 建 模 与 理解 、 情 感 的 合成 与 表达 、 情 感 计算 的 应 用 、 情 感 计算 机 的 接口 、 
情感 的 传递 与 交流 、 可 穿戴 计算 机 。 目 前 的 工作 则 侧重 于 有 关 情 感 信息 的 获取 (如 各 类 传 
感 器 的 研制 ) 与 识别 。 情 感 计 算 可 以 从 两 个 方面 理解 : 一 是 基于 生理 学 的 角度 ， 通 过 各 种 
测量 手段 检测 人 体 的 各 种 生理 参数 ， 如 心跳 、 脉 搏 、 脑 电波 等 ， 并 以 此 为 根据 来 计算 人 体 的 
情感 状态 ;二 是 基于 心理 学 的 角度 ， 通 过 各 种 传感器 接受 并 处 理 环 境 信息 ， 并 以 此 为 根据 计 
算 人 造 机 器 〈 如 个 人 机 器 人 ) 所 处 的 情感 状态 。R. Picard 教授 领导 的 情感 计算 课题 组 以 对 
人 类 情绪 的 生理 信号 处 理 为 基本 出 发 点 ， 研 究 取得 了 很 多 进展 ， 其 应 用 领域 日 益 扩 大 ， 
Picard 教授 在 MIT 媒体 实验 室 的 技术 报告 中 已 经 涉及 约 50 种 应 用 。 图 3-3 所 示 为 MIT 媒体 
实验 室 情 感 计算 的 研究 内 容 及 关系 图 。 

从 人 类 情感 的 交流 过 程 来 讲 ， 人 情感 计 算 的 研究 可 分 为 四 步 ( 见 图 34)。 通 过 传感器 直 
接 或 间接 与 人 接触 获得 情感 信息 ， 通 过 建 模 对 情感 信息 进行 分 析 与 识别 ， 对 分 析 结 果 进 行 推 
理 达到 感性 的 理解 ， 将 理解 结果 通过 合理 的 方式 表达 出 去 也 就 完成 了 情感 交流 的 全 过 程 。 根 
据 上 述 过 程 ， 情 感 计算 的 研究 内 容 主 要 应 包括 : 情感 信息 的 获取 、 人 情感 信息 的 分 析 与 识别 、 
情感 信息 的 理解 和 情感 的 表达 。 此 外 ， 人 情感 信息 与 人 类 行为 和 生理 特征 之 间 的 关系 ， 即 情感 
机 理 ， 是 情感 计算 研究 的 基础 ， 情 感 计算 的 最 佳 实现 平台 是 可 穿戴 计算 机 。 

1) 情感 机 理 的 研究 : 情感 机 理 的 研究 主要 是 情感 状态 判定 及 与 生理 和 行为 之 间 的 关 
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系 。 它 涉及 心理 学 、 生 理学 、 认 知 科学 等 ， 为 情感 计算 提供 理论 基础 。 人 类 情感 的 研究 已 经 
是 一 个 非常 古老 的 话题 ， 心 理学 
家 、 生 理学 家 已 经 在 这 方面 做 了 
量 的 工作 。 任 何 一 种 情感 状态 
都 可 能 会 伴随 几 种 生理 或 行为 特 
征 的 变化 ; 而 某 些 生理 或 行为 特 
征 也 可 能 起 因 于 数 种 情感 状态 。 
因此 ， 确 定 情感 状态 与 生理 或 行 
为 特征 之 间 的 对 应 关系 是 情感 计 
算 理 论 的 一 个 基本 前 提 ， 这 些 对 
应 关系 目前 还 不 十 分 明确 ， 需 要 
做 进一步 的 探索 和 研究 。 

2) 情感 信息 的 获取 : 情感 
信息 的 获取 研究 主要 是 指 各 类 有 
效 传 感 带 的 研制 。 它 是 情感 计算 
中 极为 重要 的 环节 ,没有 有 效 的 
传感器 ， 可 以 说 就 没有 情感 计算 图 3-3 MIT 媒体 实验 室 情感 计算 的 研究 内 容 及 关系 
的 研究 ， 因 为 情感 计算 的 所 有 研究 都 是 基于 传 感 需 所 获得 的 信号 。 各 类 传 感 顺 应 具有 如 下 的 
基本 特征 : 使 用 过 程 中 不 应 影响 用 户 ( 如 重量 、 体 积 、 耐 压 性 等 ); 应 该 经 过 医学 检验 对 用 
户 无 伤害 ; 数据 的 隐私 性 、 安 全 性 和 可 靠 性 ; 传感器 价格 低 、 易 于 制造 等 。MIT 媒体 实验 室 
的 传感器 研制 走 在 了 前 面 ， 已 研制 出 多 种 传 感 需 ， 如 脉 压 〈Blood Volume Pulse) ERAF., 
皮肤 电流 (Galvanic Skin Response ) 传感器 及 肌 电 流 ( Electromyogram ) 传感器 等 。 皮 肤 电 
流传 感 器 可 实时 测量 皮肤 的 电导 率 ， 通 过 电导 率 的 变化 可 测量 用 户 的 紧张 程度 。 脉 压 传 感 需 
可 时 刻 监测 由 心动 变化 而 引起 的 脉 压 变 化 。 省 液 传 感 需 是 一 条 读 状 物 ， 可 通过 其 伸缩 的 变化 
时 刻 监测 呼吸 与 汗液 的 关系 。 肌 电流 传 感 吉 可 以 测 得 肌肉 运动 时 的 弱电 压 值 。 

"| 情感 信息 获取 | 一 一 | 情感 信息 的 分 析 与 识别 | 一 一 | 情感 信息 的 理解 | 一 一 | 情感 的 表达 | 一 一 


图 34 情感 计算 研究 过 程 示意 图 























































































































3) 情感 信息 的 分 析 、 建 模 与 识别 : 一 旦 由 各 类 有 效 传感器 获得 了 情感 信息 ， 下 一 步 的 
任务 就 是 将 情感 信息 与 情感 机 理 相 应 方面 的 内 容 对 应 起 来 ， 这 里 要 对 所 获得 的 信号 进行 建 模 
和 识别 。 由 于 情感 状态 是 一 个 隐 含 在 多 个 生理 和 行为 特征 之 中 的 不 可 直接 观测 的 量 ， 不 易 建 
模 ， 部 分 可 采用 诸如 隐 马 尔 可 夫 模 型 、 贝 叶 斯 网 络 模式 等 数学 模型 。MIT 媒体 实验 室 给 出 了 
一 个 隐 马 尔 可 夫 模 型 ， 可 根据 人 类 情感 概率 的 变化 推断 得 出 相应 的 情感 走向 (显然 由 生气 
转化 为 愤怒 的 概率 高 于 转化 为 高 兴 的 概率 ) 。 

4) 情感 理解 : 通过 对 情感 的 获取 、 分 析 与 识别 ， 计 算 机 便 可 了 解 其 所 处 的 情感 状态 。 
情感 计算 的 最 终 目的 是 使 计算 机 在 了 解 用 户 情感 状态 的 基础 上 ， 作 出 适当 反应 ， 去 适应 用 户 
情感 的 不 断 变化 。 因 此 ， 这 部 分 主要 研究 如 何 根据 情感 信息 的 识别 结果 ， 对 用 户 的 情感 变化 
作出 最 适宜 的 反应 。 在 情感 理解 的 模型 建立 和 应 用 中 ， 应 注意 以 下 事项 : 情感 信息 的 跟踪 应 
该 是 实时 的 和 保持 一 定时 间 记 录 的 ; 情感 的 表达 是 根据 当前 情感 状态 、 适 时 的 ; 情感 模型 是 



















































































65 


针对 个 人 生活 的 ， 并 可 在 特定 状态 下 进行 编辑 ; 情感 模型 具有 上 自 适 应 性 〈 可 根据 情况 自动 
进行 调整 ) ; 通过 理解 情况 反馈 调节 识别 模式 ; 用 户 的 模型 是 完整 的 、 非 片面 的 ; 保证 情感 
的 隐私 性 、 秘 密 性 和 安全 性 等 。 

5) 情感 表达 : 前 面 的 研究 是 从 生理 或 行为 特征 来 推断 情感 状态 。 情 感 表 达 则 是 人 研究 其 
反 过 程 ， 即 给 定 某 一 情感 状态 ,研究 如 何 使 这 一 情感 状态 在 一 种 或 几 种 生理 或 行为 特征 中 体 
现 出 来 ， 例 如 如 何在 语音 合成 和 面部 表情 合成 中 得 以 体现 ， 使 机 器 具有 情感 ， 能 够 与 用 户 进 
行情 感 交流 。 情 感 的 表达 提供 了 情感 交互 和 交流 的 可 能 ， 对 于 单个 用 户 来 讲 ， 情 感 的 交流 主 
要 包括 人 与 人 、 人 与 机 、 人 与 自然 和 人 类 自己 的 交互 、 交 流 。 

6) 可 穿戴 计算 机 : 可 穿戴 计算 机 是 情感 计算 实现 的 最 佳 平 台 ， 主 要 研究 可 穿戴 计算 机 



































的 设计 。 可 穿戴 计算 机 应 具有 如 下 特征 : 结构 轻便 ， 满 足 一 定 的 强度 和 韧性 ; 不 影响 使 用 者 
的 正常 生活 ; 具有 隐秘 性 、 安 全 性 和 可 靠 性 ; 价格 低 ， 便 于 大 规模 生产 ; 设计 应 具有 个 性 
化 、 美 感 等 。 可 穿戴 计算 机 的 发 展 必 将 推动 情感 计算 的 人 研究。 同样 ， 没 有 情感 计算 理论 的 武 
装 ， 可 穿戴 计算 机 很 难 最 大 限度 地 发 挥 其 潜能 和 优势 。 可 穿戴 计算 机 的 研究 早 于 情感 计算 ，， 
而 且 研究 单位 众多 ， 主 要 集中 在 美国 和 日 本 ， 如 美国 各 大 学 的 计算 机 系 几 乎 都 有 相关 内 容 的 
研究 组 。 

2. 感性 工学 

日 本 学 者 Nagamachi 提出 一 种 以 消费 者 导向 的 新 产品 开发 技术 ， 即 感性 工学 ; 并 将 感性 
工学 定义 为 : 将 消费 者 对 于 产品 所 产生 的 感觉 或 意境 予以 转化 成 设计 要 素 的 技术 。 感 性 工学 
有 四 个 主要 的 研究 方向 : 中 如 何 通过 对 人 的 心理 评估 来 掌握 消费 者 对 于 产品 的 感觉 ; @ 如 何 
通过 消费 者 的 感觉 来 找 出 产品 的 设计 特征 ; an fal ew EA (Human Factor) 技术 的 感 
性 工学 ;外 随 着 社会 的 变化 及 人 们 的 偏好 趋势 来 修正 产品 设计 的 方向 。 表 3-1 所 示 为 日 本 感 
性 工学 的 部 分 应 用 范围 与 相关 技术 。 

感性 的 测量 方法 主要 有 两 种 : 表 出 法 和 印象 法 。 

表 出 法 对 于 人 类 五 官 在 生理 上 的 “感觉 量 ” 进 行 测定 ， 即 对 视觉 、 听 觉 、 触 觉 、 痛 觉 、 
温 觉 、 味 觉 、 嗅 觉 、 筋 肉 感觉 、 平 衡 感 、 时 间 感 等 进行 测量 。 另 外 ， 感 觉 量 中 的 舒适 性 ,与 
人 体 生 理 的 变化 量 ， 理 论 上 相当 程度 上 能 视 同 一 致 。 将 人 们 受到 外 在 刺激 后 ， 透 过 测量 生理 
上 反应 值 (如 血压 、 呼 吸 、 心 跳 等 ) 的 变化 ， 将 这 些 数值 转化 为 舒适 性 的 值 。 这 些 测定 方 
法 与 技术 ， 基 本 上 都 是 透 过 测定 人 体外 在 的 生理 变化 来 推导 的 。 

由 于 外 在 “ 表 出 法 ”的 测量 ， 有 其 一 定 的 局 限 性 。 相 对 于 此 ， 另 一 个 方式 便 是 测量 内 
在 的 “印象 法 ”。 印 象 法 受 测 者 接受 不 同 程度 的 外 在 刺激 后 ， 以 问卷 的 方式 让 其 陈述 自己 的 
感受 ， 如 此 ， 即 能 将 内 在 的 感性 信息 定量 化 。 

人 工 智 能 领域 对 于 人 工 情感 的 相关 研究 在 第 1 章 1.3 节 中 已 有 介绍 ， 这 里 不 再 袭 述 。 

不 仅仅 是 人 工 智 能 领域 的 专家 、 学 者 关心 人 工 情感 与 人 工 心理 的 研究 问题 ， 更 值得 注意 
的 是 ， 情 绪 心 理学 家 对 于 “情绪 智力 与 人 工 智能 中 的 感情 计算 ”也 进行 了 很 深入 的 思考 。 
他 们 认为 ， 基 于 情绪 智力 是 加 工 、 处 理 情绪 及 情绪 信息 的 能 力 ， 而 人 工 智 能 中 的 情感 计算 是 
要 赋予 计算 机 与 人 互动 过 程 中 情感 信息 的 加 工 能 力 ， 人 脑 处 理 情 绪 信 息 的 能 力 与 电脑 处 理 情 
绪 信 息 的 能 力 可 以 进行 类 比 。 近 几 年 来 ， 人 工 智能 专家 已 经 认识 到 情绪 智力 在 情感 计算 中 的 
重要 作用 和 意义 ， 把 人 类 识别 和 表达 情感 的 能 力 赋予 计算 机 ， 开 发 了 具有 部 分 情感 能 力 的 计 
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算 机 。 新 一 代 情 感 计算 机 的 研发 和 应 用 依赖 于 人 工 智 能 专家 与 心理 学 家 之 间 的 密切 合作 ， 两 
者 的 研究 成 果 可 以 相互 借鉴 和 互补 。 







































































































































































表 3-1 日 本 感性 工学 的 部 分 应 用 范围 与 相关 技术 
序号 | 应 用 领域 研究 内 容 研究 方法 研究 单位 
LW ARIE MR | ”不 同年 龄 的 儿童 夫 画 一 幅面 ， 根 据 描绘 | ”广岛 国际 大 学 人 类 环境 学 部 
1 | 心理 学 | 过 程 的 程度 、 颜 色 的 使 用 等 方面 分 析 婴 儿 的 印 | 感情 情报 科 
象形 成 程度 
评论 销售 手段 的 | ”调查 网 上 评论 某 化 妆 品 的 满意 程度 信州 大 学 研究 生 院 工学 系 研 
2 | 销售 | 有 效 性 究 科 、 信 和 州 大 学 纤维 学 部 感性 
工学 科 
| ”利用 IREC 在 车 的 | ”对 话 型 缩 约 进 化 算法 (IREC) 都 立 科技 研究 院 
3 ET) 沿线 形状 设计 中 的 
(汽车 ) 应 用 
文字 的 美感 由 何 | ， 三 次 元 动作 分 析 装 置 测定 初 学 者 和 书法 | ”平安 女子 学 院 
4 | 文字 处 理 | 而 来 家 写字 的 速度 和 角度 等 因素 ， 并 进行 感性 
评价 
表现 针织 品 表面 | ”利用 电脑 绘图 来 绘制 织物 中 线 的 立体 构 | EE TAR, i 
5 | 电脑 绘图 | 曲线 的 质感 的 方法 “| 造 并 与 实物 进行 比较 yes 
服装 设计 中 颜色 | ”采用 10 种 颜色 制作 出 样本 ， 试 验 对 象 对 | EIEE 
6 | 服装 | 的 选择 样本 进行 评价 (5 个 等 级 ) ， 得 到 的 数据 利 
用 神经 网 络 分 析 
全 自动 的 乐 量 合 |， 对话 型 进化 算法 (IEC) 工学 院 大 学 研究 生 院 工科 研 
7 | 音乐 | 成 系统 究 所 情报 学 专攻 
睡眠 状态 下 心跳 | ”用 混沌 解析 法 分 析 REM (ORIRE | ， 立 命 情 大 学 理工 学 研究 科 
8 | 沾 理科 学 | 速率 的 变动 IR) 期 和 SWS ( 慢 波 睡眠 ) 期 的 心跳 速率 











与 睡眠 深度 的 关系 











对 于 性 骚扰 ， 男 
女 意识 的 差别 


在 特定 的 场景 下 ， 受 到 性 骚扰 时 的 态度 
和 反应 ， 以 及 对 实验 对 象 的 性 别 、 年 龄 、 
婚姻 、 发 型 等 的 情况 进行 调查 











中 部 学 院 大 学 人 类 福利 学 部 





培 育 “ 生命 力 ” 




















对 两 个 不 同 的 俱乐部 进行 问卷 调查 ， 分 

















东京 工业 大 学 



























































10 | 教育 | 的 教育 改革 析 “ 生 命 力 ”的 相关 因素 ， 并 进行 比较 

感性 工学 在 农业 | ”从 改善 劳动 和 生活 环境 的 角度 出 发 ， 利 | ”三 重大 学 生物 资源 学 前 
ii 农业 “| 中 的 应 用 色彩 学 等 感性 工学 的 手法 设计 草地 景观 

等 

对 住宅 环境 声音 | ”将 有 关 人 的 声音 的 感性 因素 作为 定量 化 | ”香川 大 学 
12 建筑 | 的 感性 性 能 评价 的 指标 ， 对 实验 对 象 进 行 感性 评价 试验 

设计 具有 看 护 能 | ”机 器 人 具有 模拟 感性 系统 青山 学 院 大 学 、 延 世 大 学 、 
13 交互 











力 的 机 器 人 








青山 学 院 女 子 短期 大 学 


他 们 认为 ， 人 工 智 能 下 一 个 重大 突破 性 的 发 展 可 能 来 自 与 其 说 赋予 机 絮 更 多 的 逻辑 知 


能 ， 倒 不 如 说 赋予 计算 机 更 多 的 情感 智能 
心理 学 家 认为 ， 人 工 情感 是 在 人 工 智 





能 理论 框架 下 的 一 个 质 的 进步 。 因 为 从 广度 上 讲 ， 
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它 扩 展 并 包容 了 情感 智能 ; 从 深度 上 讲 ， 情 感 智能 在 人 类 智能 思维 与 反应 中 体现 了 一 种 更 高 
层次 的 智能 。 人 工 倩 感 必 将 为 计算 机 的 未 来 应 用 展现 一 种 全 新 的 方向 。 
他 们 认为 ， 人 工 智能 科学 家 才刚 刚 认识 到 情感 智能 在 人 工 千 能 领域 的 重要 性 。 因为 哪怕 














是 人 类 很 低级 的 智能 ， 也 会 涉及 认 知 、 情 绪 、 动 机 、 意 志 ， 认 知 与 情绪 、 人 情感 的 相互 作用 ， 
认 知 、 情 绪 、 情 感 与 环境 的 关系 等 等 。 因 此 ， 人 类 的 情感 智能 与 计算 机 的 情感 计算 和 BHA 
本 质 的 区 别 。 虽 然 现在 心理 学 家 在 人 类 情感 智力 方面 的 研究 成 果 还 不 能 完全 在 计算 机 上 实 
现 , 但 它 可 为 研发 更 高 级 的 情感 计算 机 提供 理论 依据 和 实践 指导 。 

心理 学 家 预言 ， 人工 智 能 中 的 感情 计算 与 人 类 情感 智力 结合 产生 的 科学 突破 将 对 人 类 生 
活 质量 产生 重大 的 影响 。 他 们 特别 指出 ， 如 果 当 代 心 理学 家 能 考虑 情绪 智力 与 人 工 智能 
(情感 计算 机 ) 的 关系 ， 那 将 对 心理 学 的 发 展 有 着 深远 的 意义 。 这 充分 表明 了 21 世纪 人 工 
科学 的 多 学 科 交 又 人 研究、 彼此 互 为 影响 的 特点 。 


3.2 ”情绪 心理 学 



































3.2.1 基本 情绪 理论 


心理 学 把 心理 现象 分 为 三 个 过 程 ， 即 认识 过 程 、 情 绪 过 程 和 意志 过 程 。 认 识 过 程 是 对 外 
界 刺激 事件 本 身 特性 的 反映 。 人 们 凭借 认识 活动 ， 在 心理 上 处 理事 件 ， 加 工 信 息 ， 进 行 决 
R, 解决 问题 。 意 志 过 程 是 认识 活动 的 能 动 方 面 和 自觉 调节 方面 ， 是 在 决策 和 解决 问题 的 过 
程 中 ， 更 多 做 意识 上 的 加 工 ， 并 在 行动 上 付 诸 实 现 的 过 程 ， 是 认识 活动 与 必要 时 在 行动 中 的 
体现 。 

情绪 与 认识 和 意志 不 同 ， 情 绪 是 人 类 对 客观 事物 的 态度 体验 与 相应 的 行为 反应 ， 它 似乎 
同人 的 切身 需要 和 主观 态度 联系 着 。 情 绪 是 一 种 复杂 的 心理 活动 ， 它 具有 人 鲜明 的 生理 基础 ， 
也 具有 很 强 的 社会 建构 性 。Lazarus (1984 年 ) 曾 描述 情绪 为 人 生 戏 剧 的 展现 ,情绪 联系 着 
个 人 与 情境 ， 反 映 着 人 们 的 生活 目标 、 信 念 以 及 对 世界 的 认识 。 情 绪 领 域 存在 着 多 种 理论 ， 
Strongrman (1996 F) 在 他 的 《情绪 心理 学 : 情绪 研究 的 理论 》 中 ， 曾 述 了 研究 历史 上 曾经 
出 现 的 150 多 个 情绪 理论 。Izard (1989 年 ) 指出 ， 这 些 理论 可 大 致 划分 为 生物 社会 理论 和 
认 知 社会 理论 。 生 物 社会 理论 认为 情绪 的 重要 特征 来 源 于 个 体 的 生理 结构 ， 遗 传 是 具体 情绪 
的 阔 限 及 其 特征 性 强度 水 平 的 决定 因素 。 按 照 生 物 社会 观点 ， 情 绪 生 活 是 个 体 遗 传 倾向 与 评 
价 系统 、 信 和 念 系统 以 及 在 生活 经 历 中 形成 的 角色 系统 相互 作用 的 结果 。 认 知 社会 理论 (或 
建构 理论 ) 认为 ， 在 情绪 过 程 中 ， 遗 传 的 作用 并 不 重要 ， 人 情绪 更 多 是 由 认 知 建构 的 ， 是 个 
体 与 环境 (尤其 是 社会 环境 ) 相互 作用 的 结果 。 根 据 认 知 社会 理论 ， 情 绪 是 个 体 对 其 生存 
和 学 习 的 环境 和 文化 进行 评价 的 结 

不 同 的 心理 学 家 对 于 情绪 有 不 同 的 定义 。P. Kleinginna 等 人 在 1981 年 收集 、 分 析 了 92 
种 关于 情绪 的 定义 ， 其 中 部 分 定义 相互 差异 很 大 ， 或 很 含糊 。 他 们 给 出 了 一 种 对 于 情绪 的 比 
较 全 面 的 定义 : 

情绪 是 一 系列 在 主观 和 客观 因素 之 间 的 复杂 的 交互 作用 ， 神 经 /激素 系统 是 引起 它 的 媒 
T, 情绪 具有 以 下 特征 : 

1) 引起 诸如 觉醒 、 快 乐 、 烦 恼 等 心理 体验 ，; 
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2) 产生 某 种 特定 的 认 知 过 程 ， 诸 如 与 情绪 相关 的 知觉 反应 
3) 普遍 地 刺激 生理 调节 达到 唤醒 状态 ; 
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、 评 估 等 ; 














































































































































































































4) 导致 一 些 行为 ， 这 些 行为 常常 是 富 于 表情 、 目 标 确定 和 有 适应 性 的 。 
表 3-2 是 情感 、 情 绪 、 感 情 及 心境 在 不 同文 献 中 给 出 的 定义 ， 由 此 可 见 ， 学 术 界 对 “人 情 
感 、 情 绪 ” 的 定义 并 未 达 大 成 统一 的 认识 。 
表 3-2 情绪 在 心理 学 中 的 基本 定义 
现代 汉语 词 库 心理 学 大 词 情绪 心理 学 “| 心理 学 | 人 类 情绪 心理 学 概论 实验 心理 学 
对 外 界 刺 | 情感 是 同情 绪 既 有 联系 | 情感 作为 二 个 | 以 需要 | 经 常 被 
激 的 肯定 和 | 又 有 区 别 的 一 个 概念 。 从 | 感情 性 反映 的 范 | 为 中 介 的 | 用 来 描述 
否定 的 心理 | 广义 而 言 ， 它 与 情绪 一 样 ,| 畴 ,着 重 于 表明 | 人 对 客观 社会 性 高 
反应 ， 如 喜 | 也 是 对 客观 事物 的 态度 体 | 情绪 过 程 的 感受 | 事物 和 对 | 级 感 情 。 
k. th 把 ,| 验 。 从 狭义 而 言 ， 它 又 不 | 方面 ， 也 就 是 情 | 象 的 态度 | 一 般 认为 ， 
| 砷 伤 、 刺 惧 ,| 同 于 情绪 ， 是 和 人 的 社会 绪 过 程 的 主观 体 | 与 体验 ”| 具有 稳定 
情感 | 爱 葵 、 厌 恶 | 性 需要 相 联系 的 一 种 复杂 | 验方 而 深刻 社 
(Feeling) | 等 而 又 稳定 的 态度 体验 会 含义 的 
感情 性 反 
映 叫 作 情 
感 ， 它 标 
示 感 情 的 
内 容 
对 外 界 刺 情绪， 广义 包括 情感 ,1 (苏联 ) 是 人 | 以 需要 | 代表 感 | 情绪 是 情绪 是 体 
激 比 较 强烈 | 是 人 对 客观 事物 的 态度 体 | 对 客观 事物 的 态 | 为 中 介 的 | 情 性 反映 由 认 知 因 | 验 ， 又 是 反 
的 心理 反应 | 验 ， 狭义 指 有 机 体 受到 生 | 度 的 体验 人 对 客观 | 的 过 程 “| 素 和 生理 | 应 ;是 冲动 ， 
活 环境 中 的 刺激 时 生理 需 2 ( 美 C. rard) 事物 和 对 因素 共同 | 又 是 行为 ; 它 
是 否 获得 满足 而 产生 暂 | 为 情绪 下 定义 必 | 象 的 态度 构成 的 反 | 是 有 机 体 的 一 
情绪 时 性 的 较 剧烈 的 态度 及 其 | 须 包括 生理 基础 .| 与 体验 应 或 经 验 | 种 复合 状态 
( Emotion) 体验 。 有 人 愉快、 悲哀 、 愤 | 表情 行为 和 主观 
BL, aK, RISA OT 
不 同形 态 ， 它 是 人 对 客观 
此 界 的 一 种 反映 形式 ， 产 
生根 源 在 于 客观 现实 本 身 
人 对 某 种 作为 情绪 、 情 把 区 别 
活动 时 产生 感 这 一 类 心理 现 于 认识 
的 兴奋 心理 象 的 笼统 称呼 来 动 、 有 特 
状态 使 用 定 主观 体 
验 和 外 显 
感情 表情 、 同 
(Affection ) 人 的 特定 
需要 相 联 
系 的 感性 
反映 统称 
为 感情 
是 人 在 一 个 相 指 的 是 | 心境 是 一 种 
当时 期 之 内 持续 一 般 的 恰 | 比 较 微 弱 、 持 
心境 存在 的 某 种 情绪 快 或 不 愉 | 久 具有 泻 染 性 
(Mood) 状态 快 的 情绪 | 的 情绪 




















经 验 
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从 表 3-2 中 可 以 看 出 ， 对 于 情绪 (Emotion) 、 情 感 (Feeling/ Affection) 和 感情 ( Affec- 
tion) 三 者 的 定义 和 它们 彼此 之 间 的 关系 ,不同 流派 、 不 同 专家 有 着 他 们 不 同 的 见解 。 这 就 
使 得 我 们 工程 技术 人 员 无 从 下 手 ， 而 本 书 的 着 眼 点 主要 是 用 信息 科学 的 手段 对 人 类 情感 过 程 
进行 模拟 、 识 别 和 理解 ， 使 机 器 能 够 产生 类 人 情绪 ， 所 以 在 本 书 中 ， 作 者 将 情绪 等 同 于 情 
R; 人 工 情绪 等 同 于 人 工 情感 ; 情绪 机 需 等 同 于 情感 机 器 ; 情绪 计算 机 等 同 于 情感 计算 机 。 


3.2.2 情绪 的 主要 成 分 


情绪 具有 以 下 三 种 成 分 : 

1) 主观 体验 ， 是 指 个 体 对 不 同情 绪 的 自我 感受 ， 与 外 部 反应 有 着 固定 关系 ; 

2) 外 部 表现 ， 就 是 我 们 通常 所 说 的 表情 ， 在 情感 状态 发 生 时 身体 各 部 分 的 动作 量化 形 
式 。 表 情 包括 面部 表情 (面部 肌肉 变化 所 组 成 的 模式 ) 、 姿 态 表情 (面部 肌肉 变化 的 表情 动 
作 ) 和 语调 表情 (言语 的 声调 、 节 奏 、 速 度 等 方面 的 变化 )，; 

3) 生理 唤醒 ， 则 是 指 情绪 产生 的 脑 基 础 和 生理 反应 与 多 个 脑 结 构 有 关 。 
3.2.3 情绪 的 维度 描述 

情绪 具有 多 维度 结构 ， 维 度 是 情绪 的 一 种 特性 。 维 度 论 认为 几 个 维度 组 成 的 空间 包括 了 
人 类 所 有 的 情绪 。 维 度 论 把 不 同情 绪 看 作 是 逐渐 的 、 平 稳 的 转变 ， 不同 情绪 之 间 的 相似 性 和 
差异 性 是 根据 彼此 在 维度 空间 中 的 距离 来 显示 的 。 迄 今 提出 的 维度 划分 方法 是 不 同 的 和 各 式 
各 样 的 ， 各 维度 理论 具体 定义 见 表 3-3。 


























表 3-3 维度 论 的 定义 汇集 














认为 感情 过 程 是 由 三 对 感情 元 素 构成 的 。 每 一 对 感情 元 素 都 具有 处 于 两 极 之 间 的 程度 变化 。 它 们 

冯 特 愉快 一 不 愉快 、 兴 奋 一 沉静 、 紧 张 一 松 弛 这 三 个 维 量 。 每 一 种 情绪 在 具体 发 生 时 ， 都 按照 这 三 个 
(W Wundt) 维 量 分 别处 于 它们 两 极 的 不 同位 置 上 。 冯 特 的 感情 三 维 理论 虽然 建立 在 主观 推测 的 基础 上 ， 但 它 至 
今 仍 有 理论 和 实际 的 意义 
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他 按照 Woodworth R S 早期 关于 依据 面部 表情 对 情绪 实行 分 类 研究 ， 提 出 了 一 个 三 维 量 表 。 他 提 
























































施 洛 伯 格 
(H aa ) 出 的 三 维 量 表 是 根据 具体 情绪 提出 的 第 一 个 维度 量 表 。 根 据 这 个 量 表 ， 可 以 把 任何 情绪 准确 地 予以 
Schosberg 定 ny 
普 拉 奇 克 他 认为 任何 情绪 的 相近 程度 都 有 不 同 ， 任 何 情绪 都 有 与 其 在 性 质 上 相对 立 的 男 一 种 情绪 ， 任 何 情 














(R Plutchik) | 绪 都 有 不 同 的 强度 ， 他 用 一 个 倒立 的 锥 体 ， 在 锥 体 切 面 上 分 隔 为 块 ， 切 面 上 的 每 一 块 代表 一 种 情绪 























认为 强度 是 指 各 种 情绪 由 弱 到 强 的 变化 范围 ， 紧 张 水 平 是 对 要 发 生动 作 的 冲动 而 言 ， 复杂 度 是 对 
we ay 多 种 情绪 组 合 而 成 的 复杂 情绪 度量 ， 快 感度 指 的 是 情绪 在 不 愉快 至 愉快 之 间 的 变化 。 根 据 情绪 的 四 
( Krech) 维度 模式 ， 可 以 对 情绪 进行 描述 ， 其 强度 有 和 多大、 紧张 水 平 如 何 、 快 感度 有 多 大 、 复 杂 程 度 怎 样 
等 ， 这 样 就 顾及 了 情绪 的 各 个 方面 了 







































































布 鲁 门 瑟 尔 认为 情绪 是 注意 、 唤 起 和 愉快 三 个 因素 的 结合 ， 据 此 可 把 这 三 个 因素 的 特定 结合 解释 为 某 种 情绪 





























弗 利 达 

认为 情绪 是 愉快 /不 愉快 兴奋、 兴趣 、 社 会 评价 、 惊 奇 和 简易 /复杂 的 混合 体 

rida 

沃 森 根据 对 儿童 进行 的 一 系列 观察 ，Watson 假定 有 三 种 类 型 的 基本 情绪 反应 一 恐惧、 愤 怨 和 爱 。 他 


( Watson ) 把 这 三 种 反应 标示 为 X、Y 和 Z 
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( 续 ) 





认为 有 些 情绪 是 基本 需要 (焦虑 、 欢 欣 和 愤怒 )， 其 他 情绪 则 是 这 些 基 本 情绪 的 合成 。 他 采用 
米 伦 森 Watson 的 X、Y 和 2 因素 ， 发 展 出 一 个 三 维度 的 情绪 坐标 系统 ， 以 这 三 种 原始 情绪 作为 基本 轴线 。 
(Millenson ) 他 也 清楚 他 的 模式 没有 包括 所 有 的 人 类 情绪 ， 但 他 表示 ， 那 些 被 排除 在 外 的 情绪 只 是 原始 情绪 的 混 


合 物 






































扎 德 最 初 提出 的 八 种 维 量 是 从 众多 的 对 情绪 情境 作 自 我 评估 的 数据 中 得 出 的 ， 后 经 筛选 ， 确 定 
了 四 个 维 量 。 筛 选 掉 的 四 个 维 是 活跃 度 、 精 细 度 、 可 控 度 和 外 向 度 。 伊 扎 德 对 所 选 的 四 个 维 量 解释 
是 : 愉快 维 ， 这 是 评估 主观 体验 最 突出 的 享乐 色调 方面 ， 紧 张 维 ， 这 是 表示 情绪 的 神经 生理 激活 水 
平方 面 的 ;冲动 维 ， 涉 及 对 情绪 情境 出 现 的 突然 性 ， 以 及 个 体 缺 乏 预料 和 缺少 准备 的 程度 ;确信 
维 ， 表 达 个 体 胜 任 、 承 受 感情 的 程度 


泰勒 采用 评价 (相当 于 快乐 度 ) 、 唤 醒 和 行为 (相当 于 趋 避 度 ) 这 三 个 维度 值 对 陌生 面孔 进行 表情 识 
(J G. Taylor) 别 











伊 扎 德 
(Izard) 
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3.2.4 ”基本 情绪 与 复合 情绪 


1. 正 向 情绪 与 负 向 情绪 

1) Gomi 等 在 其 研究 中 提出 八 种 工 情绪 的 元 素 ， 其 中 将 生理 知觉 ( 饥 俄 ) 也 包含 在 其 
情绪 元 素 中 。 这 八 种 情绪 元 素 是 : 恐惧 (Fear)、 好 奇 (Curiosity), 42k 2 ( Affection- 
seeking), JL (Hunger), tii Bi (Joy), tei (Irritation), hi ( Anger) 和 平静 
( Peace) 。 

2) Kort 等 在 其 研究 中 发 现 ， 许 多 理论 中 最 常见 的 四 种 情绪 是 : RH (Fear), 1% 
(Anger), JE (Sadness), Mitt (Joy). 

3) Picard 等 人 的 研究 则 提出 较为 复杂 的 八 种 基本 情绪 状态 : 无 情绪 (No Emotion), H 
RX (Anger), HH (Hate), 2H (Grief), 、 柏 拉 图 式 的 爱 (Platonic Love) 、 罗 曼 蒂 克 的 爱 
(Romantic Love), Mii (Joy), WOS (Reverence), 

4) Ekman 将 基本 情感 与 相关 联 的 基本 面部 表情 对 应 起 来 ， 定 义 了 六 种 基本 情绪 : 2K 
E. MR. ABS. a, RRA aT, 

5) Johnson-Laird 和 Oatley WH Ap i a Be AM ZG SEAN TR, AEF 590 个 英语 术语 
来 描述 各 种 情绪 ， 并 因此 给 出 了 五 种 基本 情绪 : EME TBARS AR CAIRO, 

6) 除了 定义 基本 情绪 外 ， 也 有 通过 定义 情绪 的 n 维 取 值 来 描述 不 同 的 情绪 ( Schlos- 
berg, 19544F; Lang, 1995 年 ) 。 比 如 最 常见 的 二 维 取 值 是 程度 (平静 的 /兴奋 的 ) 和 取向 
( 负 的 / 正 的 ) Lang 认为 ,根据 n 维 取 值 比 根据 离散 的 分 类 更 可 信 (Lang，1984 年 ) 。 

也 可 以 把 情绪 的 离散 分 类 看 作 是 连续 空间 的 一 个 区 域 。 这 样 就 很 难 认 定 两 种 不 同方 法 的 
优 劣 。 由 于 原始 的 情绪 的 分 类 涉及 许多 学 术 领 域 ,， 范围 相当 广泛 , 例如 人 格 发 展 学 、 心 理 
学 、 生 理学 ， 甚 至 后 物 学 等 ， 都 对 情绪 有 许多 相关 研究 ， 因 此 到 目前 为 止 ， 对 于 基本 情绪 的 
分 类 仍然 没有 一 个 共同 认可 的 结论 。 

2. 情绪 的 性 质 和 情绪 反应 的 特点 

(1) 情绪 的 性 质 “在 现代 心理 学 中 ， 认 为 “情绪 ”是 指 个 体 受 到 某 种 刺激 所 产生 的 一 
种 身心 激动 状态 ; 情绪 状态 的 发 生 ， 虽 然 可 以 被 个 体 所 体验 ， 但 对 于 它 所 引起 的 生理 变化 和 
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行为 反应 ， 却 不 能 被 个 体 本 身 所 控制 ， 因 此 对 个 体 的 生活 具有 影响 作用 。 这 个 定义 包涵 了 四 
层 含义 : 

1) 情绪 是 由 刺激 引起 的 : 引起 情绪 的 刺激 多 半 是 外 在 的 ， 但 也 有 内 在 的 ; 有 时 是 具体 
可 见 的 , 但 有 时 也 是 隐藏 不 明显 的 。 

2) 情绪 是 主观 意识 经 验 : 由 刺激 所 引起 的 喜 、 怒 、 衣 、 乐 等 不 同 的 情绪 经 验 ， 只 有 当 
事 人 才能 真正 体验 得 到 。 

3) 情绪 状态 不 容易 自我 控制 : 情绪 经 验 的 产生 ， 虽 然 与 个 体 的 认 知 有 关 ， 但 在 情绪 状 
态 下 ， 伴 随 产 生 的 生理 变化 与 行为 反应 ， 当 事 人 是 无 法 控制 的 。 

4) 情绪 与 动机 有 连带 关系 : 情绪 与 动机 的 连带 关系 表现 在 两 个 方面 : 其 一 ， 情 绪 是 伴 
随 着 动机 性 行为 而 产生 的 。 因 为 一 般 行为 的 产生 ， 均 由 动机 所 激发 的 ， 故 而 一 般 称 为 动机 性 
行为 。 由 动机 所 激发 的 行为 ， 其 目的 在 于 寻求 动机 的 满足 其 二 ， 在 某 些 情形 下 ， 人 情绪 本 身 
即 可 视 为 动机 。 此 时 的 情绪 能 促 动 个 体 的 行为 活动 ， 称 为 情绪 性 行为 。 

(2) 情绪 反应 的 特点 

1) 反应 的 衰减 : 情绪 反应 随时 间 的 增加 而 衰减 ， 除 非 有 新 的 激励 。 

2) 重复 的 打击 : 对 一 种 情绪 的 快速 、 重 复 的 激励 会 导致 对 这 种 刺激 的 感知 强度 的 增 
加 。 但 是 ， 当 超过 某 一 感知 强度 时 ， 该 刺激 信号 的 作用 就 会 越 来 越 弱 。 

3) 气质 和 个 性 : 影响 对 同一 激励 的 情绪 反应 。 

4) 激励 : 产生 情绪 反应 的 条 件 是 外 界 激励 必须 超过 一 定 的 感知 强度 ， 即 超过 某 一 感知 
HICE 

5) 容纳 量 : 情绪 反应 本 身 有 上 、 下 界 ， 而 与 外 界 激励 的 强度 、 频 率 无 关 。 

6) 认 知 的 和 物理 的 反馈 : 情绪 的 反应 可 以 由 认 知 过 程 或 物理 过 程 激活 。 

G) 情绪 的 成 分 和 表达 ”强烈 的 情绪 包括 一 些 共同 的 成 分 : 

1) 情绪 的 主观 经 验 : 和 情绪 有 关 的 情感 状态 和 感受 ; 

2) 内 在 身体 反应 : 特别 是 涉及 自主 神经 系统 的 反应 ; 

3) 和 情绪 及 有 关 情 境 的 认 知 : 随 情 绪 而 来 的 思考 和 信念 的 集合 ; 

4) 脸 部 表情 : 例如 感到 厌恶 时 通常 会 皱眉 ， 然 后 张大 嘴巴 等 ; 

5) 情绪 反应 : 例如 负面 情绪 会 使 人 对 世界 感到 灰暗 ; 

6) 行为 倾向 : 人 们 经 历 某 种 情绪 时 所 表现 的 一 组 行为 倾向 。 

以 上 这 些 成 分 可 以 组 合 产生 某 一 种 特定 的 情绪 ， 而 且 每 种 成 分 之 间 互 相 影 响 。 

心理 学 认为 : 所 谓 情 绪 表 达 ， 是 指 个 体 将 其 情绪 经 验 ， 经 由 行为 活动 表露 于 外 ， 从 而 显 
现 其 心理 感受 ， 并 借以 达到 与 外 界 沟通 的 目的 。 情 绪 表 达 有 很 多 不 同 的 方式 ， 下 面 分 别 介绍 
如 下 : 

(4) 情绪 表达 的 心理 学 研究 ”在 心理 学 上 ， 对 情绪 表达 的 研究 ， 集 中 在 对 三 个 问题 的 
探讨 : 

1) 情绪 经 验 的 双向 特征 : 情绪 经 验 不 只 单 向 的 表达 ， 情 绪 表 达 时 多 半 是 有 沟通 对 象 
的 ， 情 绪 表 达 主 体 与 对 象 ， 必 须 对 情绪 表达 方式 具有 共同 的 认识 ， 然 后 才能 达到 表达 沟通 的 
目的 。 

2) 非 语言 的 情绪 表达 : 语言 所 表达 的 情绪 比较 间接 ， 而 且 受 到 文化 教育 的 影响 ,个 体 
间 的 差异 较 大 ， 不 容易 发 现 情绪 心理 的 原则 。 
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3) 情绪 经 验 的 形成 : 喜 怒 喜乐 的 情绪 不 但 人 类 都 具有 ， 而 且 有 些 动 物 也 会 表达 情绪 。 

(5) 面部 表情 “情绪 的 表达 以 外 部 表情 为 主 ， 面 部 表情 一 方面 表示 情绪 表达 者 当事人 的 
心理 状态 ， 另 一 方面 也 可 以 让 交互 者 了 解 当 事 人 的 心理 状态 ， 因 此 面部 表情 具有 沟通 能 力 。 

某 些 面部 表情 具有 普遍 性 的 意义 。Ekman 研究 发 现 ， 美 国 等 五 个 国家 的 人 们 观看 了 显示 
快乐 、 悲 伤 、 厌 恶 、 害 怕 和 惊讶 的 面部 表情 图 片 ， 确 认 表 情 传达 的 情绪 上 均 无 困难 。 甚 至 未 
接触 西方 文化 偏远 部 落 的 成 员 ， 也 能 正确 判断 西方 文化 人 类 的 面部 表情 。 事 实 上 ， 仅 以 眉毛 
和 嘴 层 的 动作 变化 ， 便 可 以 表现 出 相当 多 样 化 的 面部 表情 。 面 部 表情 与 情绪 的 对 照 关 系 如 图 
3-5 所 示 。 
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图 3-5 面部 表情 与 情绪 对 照 
3. 情绪 、 情 感 与 感情 的 区 别 与 联系 
情绪 与 情感 都 是 对 需要 满足 状况 的 心理 反映 ， 是 属于 同一 类 而 不 同 层 次 的 心理 体验 ， 是 
既 有 区 别 又 紧密 联系 着 的 两 个 概念 。 
(1) 情绪 与 情感 的 区 别 
1) 情绪 的 生理 性 和 情感 的 社会 性 : 情绪 更 多 是 与 生理 需要 满足 与 否 相 联系 的 心理 活 
动 ， 而 情感 则 是 与 社会 性 需要 满足 与 否 相 联系 的 心理 活动 。 如 在 饥饿 时 有 食物 吃 就 会 很 高 
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兴 ， 这 是 一 种 情绪 反应 ， 而 不 能 说 他 产生 了 热爱 食物 的 情感 。 情 绪 是 原始 的 ， 是 人 和 动物 所 
共有 的 ， 情 感 则 是 人 类 所 特有 的 心理 活动 ， 具 有 一 定 的 社会 历史 性 。 如 民族 自豪 感 是 与 对 本 
民族 的 爱 相伴 而 生 的 社会 性 情感 。 

2) 就 人 类 个 体 而 言 ， 情 绪 发 展 在 先 ， 情 感 体验 产生 于 后 : 婴儿 最 初 的 表情 反应 具有 无 
条 件 反射 的 性 质 ， 而 情感 则 是 社会 接触 过 程 中 逐渐 产生 的 。 婴 儿 对 母亲 的 依恋 是 不 断 受 到 母 
亲爱 抚 、 关 怀 的 过 程 中 产生 出 愉快 的 情绪 体验 而 逐渐 培养 起 来 的 。 

3) 与 情感 相 比 ， 情 绪 不 稳定 : 情绪 是 反应 性 、 活 动 性 的 过 程 ， 会 随 着 情境 的 改变 以 及 
需要 满足 情况 的 变化 而 发 生 相 应 的 改变 。 情 感 具有 较 强 的 稳定 性 、 深 刻 性 和 持久 性 ， 是 对 事 
物 态度 的 反映 ， 是 构成 个 性 心理 品质 中 稳定 的 成 分 。 

4) 情绪 表现 的 外 显 性 和 情感 表现 的 内 在 性 : 情绪 表现 有 明显 的 冲动 性 和 外 部 特征 ， 面 
部 表情 是 情绪 的 主要 表现 形式 ， 而 情感 多 以 内 在 感受 、 体 验 的 形式 存在 。 人 们 高 兴 时 手 舞 足 
BE, 愤怒 时 咬牙 切 具 ， 这 些 都 是 情绪 的 外 部 表现 ， 而 爱国 主义 情感 是 一 种 内 心 体验 ， 虽 不 轻 
易 表 露 但 对 行为 有 重要 的 调节 作用 。 

(2) 情绪 和 情感 的 联系 ”情绪 与 情感 的 区 别 是 相对 的 ， 虽然 它们 所 表达 的 主观 体验 的 
内 容 有 所 不 同 ， 但 往往 在 强烈 的 情绪 反应 中 也 有 稳定 的 主观 体验 ， 而 情感 也 多 通过 情绪 反应 
表现 出 来 。 情 绪 和 情感 彼此 之 间 具 有 密切 的 联系 。 

1) 情绪 是 情感 的 基础 ， 情 感 离 不 开 情绪 : 这 表现 在 情感 是 在 情绪 的 稳固 基础 上 发 展 建 
立 起 来 的 ; 情感 通过 情绪 的 形式 表达 出 来 。 

2) 对 人 类 而 言 ， 情 绪 离 不 开 情 感 ， 是 情感 的 具体 表现 : 情感 的 深度 决定 着 情绪 表现 的 强 
度 ， 情 感 的 性 质 决 定 了 在 一 定 情境 下 情绪 表现 的 形式 。 情 绪 发 生 过 程 中 往往 深 含 着 情感 因素 。 

而 对 于 感情 这 个 概念 ， 从 有 关 情 绪 的 文献 中 可 以 发 现 ， 学 者 们 一 般 把 区 别 于 认识 活动 、 
有 特定 主观 体验 和 外 显 表情 、 同 人 的 特定 需要 (自然 的 或 社会 的 ) 相 联 系 的 感性 反映 统称 
为 感情 。 所 以 ， 感 情 是 标示 这 一 感性 反映 的 普遍 的 、 一 般 的 概念 。 它 一 般 地 包含 着 情绪 和 人 情 
感 的 综合 过 程 ， 既 有 情绪 的 含义 ， 也 有 情感 的 含义 。 因 此 可 以 肯定 ， 无 论 情 绪 、 情 感 还 是 感 
情 ， 指 的 都 是 同一 过 程 和 同一 现象 。 

(3) 情绪 的 主要 成 分 人 类 情绪 不 仅 具 有 独特 的 主观 体验 和 表情 行为 ， 还 伴随 着 一 定 
的 生理 反应 ， 即 生理 激活 ， 三 者 共同 组 成 了 情绪 这 美好 而 奇特 的 事物 。 

1) 主观 体验 : 主观 体验 是 情绪 最 主要 的 特点 ， 它 是 指 个 体 对 不 同情 绪 的 自我 感受 ， 与 
外 部 反应 有 着 固定 关系 。 每 种 具体 情绪 的 主观 体验 的 色调 是 不 同 的 ， 它 们 分 别 代表 着 人 们 不 
同 的 感受 。 例 如 ， 当 你 考试 获得 好 成 绩 或 在 工作 上 取得 巨大 进步 时 ， 你 会 感到 由 衷 的 喜悦 ， 
对 自己 之 前 的 付出 感到 满足 ， 对 自己 也 更 加 自信 ; ARTEZ, UR AT HES RSI + TE 
丧 ， 情 绪 低沉 ; 而 当 你 将 要 面临 一 场 灾 难 ， 如 地 震 、 火 灾 时 ， 你 一 定 会 感到 疏 惧 万 分 等 ， 这 
些 都 是 人 们 对 情绪 的 主观 体验 。 正 是 由 于 这 个 世界 包含 了 这 么 丰富 而 多 姿 多 彩 的 情绪 体验 ， 
才 会 如 此 生动 可 爱 。 

2) 表情 行为 ， 表 情 行为 就 是 我 们 通常 所 说 的 广义 表情 ， 在 情感 状态 发 生 时 身体 各 部 分 
的 动作 量化 形式 。 表 情 包 括 面部 表情 、 姿 态 表 情 和 语调 表情 。 面 部 表情 是 指 面部 肌肉 的 变化 
所 组 成 的 模式 ， 它 是 鉴别 情绪 的 主要 标志 。 面 部 表情 是 由 眼睛 、 嘴 唇 、 眼 瞪 和 眉毛 按照 不 同 
的 位 置 组 合 而 成 的 。 托 尔 斯 泰 就 曾 描写 过 85 种 不 同 的 眼神 和 97 种 不 同 的 微笑 ， 用 以 揭示 人 
的 情绪 状态 。 姿 态 表 情 是 指 身体 各 部 分 的 姿态 变化 ， 如 激动 时 振臂 欢呼 ， 高 兴 时 捧腹 大 笑 ， 
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TERI ENA , R EERE, TAD Tae da A Ps ee, PRESET AE, 
如 喜悦 时 语调 高 昂 ， 语 速 较 快 ， 悲 伤 时 则 语调 低沉 、 语 速 缓慢 。 

外 部 表现 与 主观 体验 是 共生 的 ， 并 有 着 固定 的 联系 ， 有 什么 样 的 主观 体验 就 必然 伴随 着 
相应 的 行为 模式 ， 如 喜悦 时 放声 大 笑 ， 悲 伤 时 痛 避 流 涕 ， 忧 郁 时 紧 锁 眉头 ， 恺 惧 时 尖 声 大 
叫 。 表 情 其 实 就 像 是 情绪 的 镜像 ， 可 以 折射 出 各 种 情绪 的 状态 。 

3) 生理 激活 : 生理 激活 是 指 情绪 产生 的 脑 基础 和 生理 反应 ， 与 多 个 脑 结构 有 关 。 人 情绪 
发 生 在 一 定 的 生理 激活 水 平 上 ， 且 需要 一 定 的 能 量 ， 这 些 能 量 来 自 人 体 生理 功能 的 激活 ， 如 
心率 加 快 、 血 压 升 高 、 瞳 孔 放大 、 外 周 血管 的 舒张 与 收缩 、 神 经 内 分 泌 的 变化 等 。 这 些 器 官 
活动 的 增强 能 保证 机 体 活动 时 所 需 的 能 量 供应 。 

不 同 的 情绪 生理 反应 模式 是 不 一 样 的。 例如 ,满意 、 愉 快 时 心跳 节律 正常 ， 暴怒 时 心跳 
加 速 、 血 压 升 高 、 呼 吸 频 率 增 加 ， 甚 至 出 现 间歇 或 停顿 ; 恐惧 时 尿 内 肾上腺 素 和 去 甲 皮 上 腺 
素 排出 量 都 有 增加 ; 焦虑 、 抑 郁 可 抑制 胃 肠 道 和 消化 液 的 分 泌 ， 导 致 食欲 减退 。 

(4) 情绪 的 维度 与 极 性 ”人 情绪 具有 多 维度 结构 ， 维 度 是 情绪 的 一 种 特性 。 维 度 论 认为 ， 
几 个 维度 组 成 的 空间 包括 了 人 类 所 有 的 情绪 。 维 度 论 把 不 同情 绪 看 作 是 逐渐 的 、 平 稳 的 转 
变 , 不 同情 绪 之 间 的 相似 性 和 差异 性 是 根据 彼此 在 维度 空间 中 的 距离 来 显示 的 。 情 绪 的 维度 
主要 是 指 情绪 的 快感 度 、 激 动 性 、 紧 张 度 和 强度 等 方面 。 而 在 每 种 维度 上 ， 人 情绪 都 表现 出 互 
相对 立 的 两 极 性 。 这 种 两 极 性 是 情绪 的 主要 特征 之 一 。 

1) 情绪 的 快感 度 有 愉快 与 不 愉快 两 极 。 这 种 体验 与 主体 需要 满足 的 程度 相 联系 。 一 般 
地 讲 ， 需 要 得 到 满足 时 ， 产 生 积极 肯定 的 情绪 ; 而 需要 得 不 到 满足 时 ， 则 会 产生 消极 负面 的 
情绪 。 当 情绪 由 积极 向 消极 转化 时 ， 就 伴随 着 愉快 和 不 愉快 两 种 对 立 的 反映 ， 如 快乐 和 翡 
嘉 ， 敬 仰 和 轻 莽 、 热 爱 与 展 恨 等 。 

2) 情绪 的 激动 性 有 激动 与 平静 两 极 。 它 在 很 大 程度 上 反映 着 个 体 的 机 能 状态 ,激动 和 
平静 两 极 反应 过 度 兴奋 和 抑制 状态 。 激 动 是 一 种 强烈 的 、 外 显 的 情绪 状态 ， 如 狂喜 、 暴 怒 、 
极度 慌 惧 等 。 平 静 是 一 种 稳定 安静 的 情绪 状态 ， 是 人 们 平时 正常 生活 工作 的 基本 情绪 状态 。 
情绪 的 激动 性 对 情绪 的 快感 度 有 一 定 的 影响 ， 如 愉快 的 情绪 在 激动 时 是 狂言 ， 在 平静 时 是 刁 
淡 的 欣喜 。 

3) 情绪 的 紧张 度 有 紧张 和 轻松 两 极 。 紧 张 的 程度 既 决 定 于 当前 事件 的 紧迫 性 ， 也 取决 
于 人 的 心理 准备 状态 以 及 应 变 能 力 。 在 事件 处 于 十 分 紧急 的 状态 、 个 体 心 理 准备 不 足 且 应 变 
能 力 差 时 ， 人 们 一 般 都 会 有 高 度 紧 张 感 。 而 如 果 情 况 不 太 紧 张 ， 个 体 心理 准备 比较 充分 ， 应 
变 能 力 强 时 ， 人 们 则 会 感觉 轻松 。 轻 松 是 一 种 情绪 松弛 状态 。 有 实验 表明 ， 紧 张 程度 中 等 
时 ， 人 的 操作 行为 效果 最 佳 ， 过 度 紧 张 或 松弛 都 会 降低 操作 效率 。 

4) 情绪 的 强度 有 强 和 弱 两 极 。 情 绪 体 验 在 强度 上 可 以 有 不 同等 级 的 变化 ， 人 们 和 常用 情 
绪 表 现 的 强 弱 作 为 划分 情绪 的 标准 。 例 如 ， 喜 由 弱 到 强 划分 为 : 适 意 、 人 愉快、 欢乐 、 大 嘉和 
狂喜 ; 怒 由 弱 到 强 划分 为 : 不 满 、 微 慢 、 愤 把 、 大 怒 和 暴怒 ， 衣 由 弱 到 强 划 分 为 伤感 、 难 
Ww Uti, SOR AE TE 

正 是 由 于 情绪 具有 维度 与 极 性 ， 而 两 极 间 又 有 不 同 程度 的 变化 ， 所 以 情绪 的 表现 是 复杂 
而 多 样 的 。 情 绪 的 这 四 个 维度 的 两 极 间 并 不 是 绝对 互相 排斥 的 ， 它 们 之 间 有 一 定 的 联系 性 ， 
如 “ 乐 极 生 悲 >“ 破 涕 为 笑 ”"、“ 喜 极 而 泣 ” 等 成 语 ， 都 反映 了 这 种 变化 。 

(5) 情绪 的 功能 ”和 情绪 作为 人 反映 客观 世界 的 一 种 形式 ， 是 人 的 心理 的 重要 组 成 部 分 ， 
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对 人 的 现实 生活 和 精神 生活 等 方面 都 有 重要 作用 。 

1) 适应 功能 : 人 的 行为 总 是 伴随 着 一 定 的 情绪 状态 的 ， 情 绪 是 人 适应 生存 的 精神 支 
柱 。 下 面 从 三 个 方面 来 理解 情绪 的 适应 功能 。 

首先 ， 高 等 动物 的 情绪 具有 适应 功能 。 表 情 的 发 展 是 情绪 的 适应 功能 发 展 的 标志 。 类 人 
猿 等 高 级 灵 长 类 动物 ， 如 黑猩猩 ， 有 着 与 人 类 相似 的 表情 ， 可 以 表达 喜 、 怒 、 衣 、 乐 等 基本 
情绪 。 生 存 需 要 得 到 满足 ， 有 了 同伴 ， 它 们 就 欢喜 ; SCP MRI BA; RAHAT 
死亡 时 便 会 翡 衰 落 泪 。 这 些 基本 情绪 是 高 等 动物 在 生存 适应 过 程 中 发 展 、 分 化 出 来 的 。 

其 次 ,婴儿 的 情绪 具有 适应 功能 。 婴 儿 的 情绪 是 随 他 们 逐渐 适应 社会 环境 而 发 展 起 来 的 。 
避 是 婴儿 最 具 特 征 的 适应 方式 。 婴 儿 用 呐 声 告诉 大 人 他 身体 不 适 . 饭 了 。 随 着 要 表达 内 容 的 
增加 、 活 动 范 围 的 扩大 ,与 大 人 交流 的 情绪 反应 也 逐渐 增加 并 产生 分 化 。 笑 对 初生 的 婴儿 而 
言 ,只 是 一 种 生理 上 舒适 的 反应 ,后 来 在 与 成 人 的 接触 中 ,婴儿 产生 主动 的 微笑 反应 , 才 产 生 了 
具有 社会 意义 的 “微笑 "。 和 情绪 的 社会 性 参照 作用 是 儿童 以 情绪 为 信号 进行 社会 交往 的 典型 
例子 。 如 在 “视觉 悬崖 ”前 儿童 往往 会 驻足 不 前 ,视察 母亲 的 表情 。 如 果 母 亲 是 支持 和 鼓励 的 
表情 ， 儿 童 往往 会 奋力 息 过 “ 视 崖 ”; 如 果 母 亲 显 出 担心 和 害怕 ， 儿 童 就 会 喇 缩 不 前 。 

再 次 ， 成 人 的 情绪 也 具有 适应 功能 。 人 类 除了 要 存在 于 一 个 自然 环境 中 ， 还 会 不 可 避免 
地 存在 于 一 个 社会 群体 中 。 尤 其 是 现代 社会 ， 随 着 物质 文明 和 精神 文明 的 高 度 发 展 ， 社 会 变 
化 的 速度 也 越 来 越 快 ， 对 人 的 适应 能 力 的 要 求 也 越 来 越 高， 情绪 调解 也 就 成 了 适应 社会 环境 
的 重要 手段 。 人 们 适应 不 良 时 往往 会 产生 挫折 感 ， 导 致 焦虑 和 紧张 。 通 过 适当 地 调节 情绪 ， 
降低 焦虑 和 紧张 ， 就 能 让 人 更 好 地 适应 环境 ， 克 服 困 难 。 如 情绪 不 好 而 吃 不 下 饭 ， 就 是 日 常 
生活 中 情绪 影响 适应 的 明显 表现 。 

2) 动机 作用 : 人 的 各 种 需要 是 行为 动机 产生 的 基础 和 主要 来 源 ， 而 情绪 是 需要 是 否 得 
到 满足 的 主观 体验 ， 它 们 能 激励 人 的 行为 ， 改 变 行为 效率 ， 因 此 情绪 具有 动机 作用 。 

积极 的 情绪 状态 会 成 为 行为 的 积极 诱因 ; 消极 的 情绪 状态 则 起 消极 诱因 作用 ， 人 们 会 受 
激发 以 摆脱 这 种 状态 ,这 样 情绪 状态 就 起 到 了 动机 的 始 动 作用 和 指引 功能 ， 使 人 们 追求 导致 
积极 情绪 的 目标 而 回避 导致 消极 情绪 的 目标 。 积 极 的 情绪 可 以 提高 行为 效率 ， 起 正 向 推动 作 
用 ; 消极 的 情绪 则 会 干扰 、 阻 碍 人 的 行动 ， 甚 至 引发 不 良 行为 ， 起 反 向 的 推动 作用 。 

研究 发 现 ， 适 度 的 情绪 兴奋 性 会 使 人 的 身心 处 于 最 佳 活动 状态 ， 能 促进 主体 积极 地 行 
动 ， 从 而 增进 行为 的 效率 。 一 定 情绪 紧张 度 的 维持 有 利于 行为 的 进行 ， 过 于 松弛 或 过 于 紧张 
对 行为 的 进程 和 问题 的 解决 不 利 。 

3) 组 织 功能 : 情绪 这 种 特殊 的 心理 活动 ， 对 其 他 心理 过 程 而 言 是 一 种 检测 系统 ， 是 心 
理 活 动 的 组 织 者 。 积 极 的 情绪 具有 调节 和 组 织 作用 ， 消 极 的 情绪 则 有 干扰 、 破 坏 作 用 。 

电 促 成 知觉 选择 : 知 党 具有 选择 性 ， 情 绪 的 偏好 是 影响 知觉 选择 性 的 因素 之 一 。 比 如 ， 
婴儿 喜欢 红 、 黄 色 ， 他 们 选择 玩具 时 重点 是 红 、 黄 色 的 物品 ， 而 对 其 他 的 却 很 少 注意 。 

监视 信息 的 移动 : 对 信息 的 监视 实际 上 是 注意 的 过 程 ， 但 情绪 和 情感 对 维持 稳定 的 注 
意 起 着 重要 作用 。 人 们 对 有 兴趣 、 好 奇 的 信息 监视 准确 ， 而 往往 忽视 自己 厌恶 、 不 感 兴趣 的 
信息 。 

@ 影 响 工作 记忆 : 情绪 对 记忆 的 影响 有 两 个 方面 : 一 是 喜好 影响 记忆 的 效率 ， 人 们 容易 
记 住 喜欢 的 事物 ， 对 不 喜欢 的 记忆 起 来 十 分 吃力 ; 二 是 使 记忆 的 内 容 根据 情绪 进行 归 类 ， 在 
同样 情绪 状态 下 ， 记 住 的 材料 更 容易 回忆 起 来 。 
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影响 思维 活动 : 情绪 对 人 的 思维 活动 的 影响 也 是 十 分 明显 的 。 过 于 亲近 和 喜欢 的 容易 
偏 听 、 偏 信 ， 过 度 兴奋 的 情绪 状态 也 会 影响 思维 的 进程 和 方向 。“ 感 时 花 溅 泪 ， 离 别 鸟 惊 
心 ”是 情绪 影响 思维 的 写照 。 

名 情绪 影响 人 的 行为 表现 : 愤怒 往往 使 人 冲动 而 不 计 行为 的 后 果 ， 上 时 惧 往 往 令 人 退缩 不 
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4) 通信 交流 功能 : 情绪 和 语言 一 样 ， 是 人 际 通信 交流 的 重要 手段 。 两 者 也 都 有 显著 
的 、 但 却 十 分 不 同 的 外 显 形式 。 言 语 交 际 以 语 声 〈 或 书写 ) 的 形式 来 表达 思想 、 陈 述 意见 。 
而 情绪 的 外 显 形式 则 是 表情 。 
面部 表情 、 声 音 表情 和 身体 姿势 都 能 显示 主体 的 情绪 状态 。 人 们 通过 表情 反映 自己 的 意 




































































愿 ， 也 通过 对 他 人 表情 的 观察 和 体验 来 了 解 周围 人 的 态度 和 意愿 。 如 微笑 通常 表示 满意 、 赞 
FRI; 厌恶 、 怨 目 圆 睁 表示 和 否定 的 态度 。 喜 、 即 、 嘉 、 乐 是 人 们 交流 彼此 的 思想 、 愿 
望 、 需 要 、 态 度 以 及 观点 的 有 效 途 径 。 

情绪 的 通信 交流 作用 还 表现 在 一 些 特定 的 感情 连接 上 。 母 婴 依 恋 是 最 初 的 ， 也 是 最 突 
出 、 最 重要 的 感情 连接 模型 。 半 岁 多 的 婴儿 ， 在 母亲 离开 他 时 ， 表 现 不 安 并 内 六 ， 这 是 最 初 
建立 的 同 母亲 亲近 依恋 关系 的 反映 ， 称 为 “分 离 反 抗 ” 。 婴 儿 在 七 八 个 月 以 后 ， 在 母亲 经 党 
接近 和 离开 的 不 断 重 复 中 ， 学 会 预料 母亲 接近 和 离开 的 后 果 ， 形 成 同 母亲 依恋 的 安全 感 。 有 具 
有 这 种 依恋 安全 感 的 婴儿 在 情绪 上 会 更 加 快乐 ， 更 容易 同 其 他 人 接近 并 建立 友好 关系 ， 更 愿 
意 认 识 和 探索 外 界 新 鲜 事 物 。 这 是 儿童 情绪 健康 和 形成 比较 全 面 发 展 的 人 格 的 重要 基 
Filio 


3.3 ”情感 计算 的 数学 模型 与 情感 形式 化 


情感 建 模 问题 ， 就 是 使 用 数学 方法 : 维度 空间 、 非 线性 、 统 计 、 灰 色 理论 、 随 机 过 程 等 
方法 。 把 人 类 的 情绪 模型 化 ， 目 的 在 于 能 够 在 计算 机 实现 人 工 情感 的 形式 化 ， 实 现 能 够 具有 
人 工 情感 的 机 器 系统 。 


3.3.1 情绪 的 数学 描述 


1. 用 数学 方法 描述 情绪 的 重要 性 

情绪 的 定义 迄今 仍 无 明确 的 共识 。 概 括 地 说 ， 情 绪 是 一 种 多 成 分 、 多 维 量 、 多 种 类 、 多 
水 平整 合 的 复合 心理 过 程 。 情 绪 是 对 趋向 知觉 为 有 益 的 、 离 开 知 觉 为 有 害 的 东西 的 一 种 体验 
倾向 。 这 种 体验 倾向 被 一 种 相应 的 接近 或 退 避 的 生理 变化 模式 所 伴随 ; 这 种 模式 在 不 同 的 情 
绪 中 是 不 同 的 。 情 绪 有 既 涉 及 体验 ， 又 涉及 生理 反应 ， 还 包含 行为 。 它 是 有 机 体 的 一 种 复合 状 
态 ， 其 组 成 成 分 至 少 应 包括 情绪 体验 、 情 绪 表 现 和 情绪 生理 三 种 因素 。 情 绪 是 瞬 变 的 心 
理 一 一 生理 现象 ， 它 代表 机 体 对 不 断 变 化 的 环境 所 采取 的 适应 模式 。 情 绪 是 人 类 不 断 进化 发 
展 而 来 的 ， 它 有 很 大 的 帮助 人 类 适应 环境 的 价值 。 当 代 人 类 有 多 种 情绪 早 在 婴儿 早期 即 已 出 
H, 诸如 愉快 、 翡 伤 、 愤 怒 、 惯 怕 、 惊 奇 、 厌 恶 等 等 。 人 们 可 以 很 容易 地 用 语言 来 表达 自己 
的 情绪 ， 比 如 “我 感到 很 高 兴 ”“ 我 很 讨厌 这 种 事情 ”语言 ， 还 可 以 用 表情 表达 自己 的 情 
绪 ， 如 当 一 个 人 心情 很 好 时 就 会 笑容 满面 。 一 些 基本 情绪 的 面部 表情 不 需要 社会 学 习 就 能 
生 ， 例 如 新 生 儿 在 饥饿 或 疼痛 时 丑 叫 的 表情 ， 温 饱 、 舒 适时 出 现 的 微笑 表情 ， 都 是 不 学 就 具 
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备 的 。 而 且 几 乎 每 个 正常 人 无 需 任何 特别 训练 就 能 通过 语言 、 表 情 和 姿态 来 获取 别人 的 情绪 
状态 。 然 而 ， 要 想 让 计算 机 具备 产生 、 识 别 和 表达 情绪 能 力 却 不 这 么 容易 ， 因 为 计算 机 是 以 
数值 计算 的 方法 对 信号 进行 加 工 处 理 的 ， 而 复杂 的 人 类 情绪 是 很 难 进行 科学 的 分 析 和 量化 
的 ， 目 前 各 领域 的 情绪 研究 还 无 法 确立 一 个 可 靠 的 、 能 够 用 精确 的 数字 表示 情绪 的 评定 系 
统 。 

尽管 情绪 的 笼统 性 和 复杂 性 使 得 难以 对 它 进行 数量 分 析 ， 但 是 人 们 从 来 没有 停止 尝试 用 
不 同 的 研究 策略 ， 生 理学 、 心 理学 、 语 言 学 、 信 息 论 以 及 计算 机 科学 等 不 同学 科 都 在 对 情绪 
进行 不 断 的 研究 。 

目前 ， 信 息 学 界 已 经 开始 对 情感 进行 可 计算 化 研究 。 虽 然 情 绪 在 人 和 其 他 动物 中 起 着 非 
党 重要 的 作用 ， 但 为 什么 我 们 要 对 情感 进行 可 计算 化 研究 呢 ， 或 者 说 为 什么 要 赋予 机 吕 情 绪 
系统 呢 ? 要 对 情感 进行 计算 化 研究 的 原因 ，L. Canamero 认为 有 两 个 主要 方面 : 

1) 从 对 科学 探索 的 角度 ， 赋 予 智 能 体 情 感 可 以 作为 检验 人 和 动物 的 自然 情绪 的 实验 平 
人 台 ， 提 供 一 个 综合 方法 来 对 神经 系统 的 分 析 研 究 进 行 补充 。 

2) 从 工程 的 角度 来 说 ， 探 索 情 感 在 生物 体 中 所 扮演 的 一 些 角色 来 发 展 机 制 和 工具 ， 用 
来 增强 人 工 社 会 和 混合 智能 体 社会 中 的 自治 性 、 适 应 能 力 和 社会 交互 的 能 力 。 对 于 这 个 方法 
根本 的 假设 是 ， 由 于 情绪 是 生物 体 在 复杂 的 、 动 态 的 、 不 可 预知 的 以 及 资源 缺少 的 环境 中 生 
存 的 适应 性 机 制 ， 那么 人 工 智 能 体面 对 这 样 的 环境 时 ， 也 需要 有 类 似 的 机 制 来 达到 与 环境 的 
适应 ， 把 情绪 作为 控制 机 制 。 

如 果 把 L. Canamero 所 说 的 工程 角度 方面 再 细 化 一 下 ， 可 以 分 为 三 个 方面 。 即 情绪 可 以 
影响 和 调节 认 知 过 程 。 在 感知 和 记忆 中 进行 着 对 信息 的 加 工 和 选择 。 按 情感 的 适应 性 而 言 ， 
它 帮助 人 选择 信息 与 环境 相 适 应 。 人 情感 可 以 协调 社会 交往 。 事 实 上 ， 目 前 很 多 对 于 情绪 的 可 
计算 化 的 研究 也 集中 在 这 三 个 方面 。 下 面 我 们 对 这 儿 个 方面 分 别 讨论 一 下 。 

(1) 适应 机 制 ”国际 认 知 科学 界 的 最 新 发 展 提出 了 一 系列 壬 新 的 概念 ， 包 括 诸如 “1 
景 认 知 ” 和 “分 布 认 知 ” 等 ， 形 成 了 认 知 科学 的 新 理论 基础 “基于 环境 的 认 知 研究 
向 ”。 这 个 理论 强调 人 类 认 知 和 环境 的 交互 作用 关系 的 根本 重要 性 。 因 此 ， 在 传统 人 工 知 
研究 中 长 期 被 忽略 的 环境 的 作用 正在 认 知 科学 的 发 展 中 越 来 越 得 到 重视 。 

适应 性 的 思想 对 计算 机 科学 是 十 分 重要 的 。 人 工 智能 中 对 适应 性 的 研究 主要 有 两 种 形 
式 : Brooks 的 临场 人 工 智能 以 及 Minsky 的 多 智能 体 (Agent) 系统 。 前 者 以 低级 生物 为 基 
础 ， 研 究 群 体 的 自 组 织 行为 。 后 者 以 人 类 社会 为 基础 ， 在 限制 领域 的 条 件 下 ， 研 究 社 会 的 行 
为 。 但 对 于 混合 智能 系统 而 言 ， 人 是 一 个 带 有 感情 的 环境 ， 面 对 情感 环境 ， 要 实现 适应 性 可 
能 需要 考虑 情感 对 适应 性 的 参与 作用 。 

比如 在 适应 性 的 一 个 方面 一 一 学 习 能 力 中 ， 在 传统 的 刺激 -反应 学 习 理 论 中 ,通常 不 考 
虑 情感 对 适应 性 的 参与 作用 。 但 Mowrer 及 其 同事 通过 大 量 的 试验 ， 发 现 学 习 不 仅仅 只 是 刺 
激 - 反 应 的 发 展 过 程 ， 而 且 还 应 该 是 一 个 牵涉 到 情感 产生 的 过 程 。Mowrer 提出 的 这 种 双 过 程 
模型 理论 指出 : 在 情感 状态 中 ， 可 以 更 灵活 地 学 习 ， 并 提供 新 的 学 习 动 机 来 源 。 

麻 省 理工 学 院 媒 体 实验 室 的 B. Blumberg 对 仿真 狗 研 究 中 ， 首 先 将 情感 因素 引入 到 学 习 
之 中 。 虽 然 Blumberg 的 仿真 狗 没有 显 式 的 情感 模型 、 情 感 状态 或 者 情绪 ,但 仿真 狗 的 表情 
和 行为 受到 内 部 变量 的 影响 ,这 些 变 量 如 同 其 他 诸如 饥饿 或 口 淘 的 内 部 状态 一 样 代表 情感 。 
尽管 仿真 狗 的 情感 是 简单 和 硬性 规定 的 ， 却 具有 一 个 其 他 模型 中 没有 的 关键 特点 : 学 习 能 
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Fi, 无 其 是 情感 对 所 学 事物 的 影响 。 实 际 上 ， 仿 真 狗 内 部 变量 的 变化 能 够 驱动 一 个 学 习 过 
程 ， 从 而 完成 学 习 任务 。 

(2) 决策 传统 人 工 智 能 的 逻辑 推理 系统 中 ， 没 有 考虑 情感 的 因素 。 事 实 上 ， 正 如 前 
面 所 提 到 的 ， 情 绪 的 一 个 重要 作用 就 是 对 理性 思维 的 影响 。 灵 活 而 明智 地 作出 决定 曾 是 人 工 
智能 研究 者 最 难 把 握 的 目标 之 一 。 相 反 ， 人 类 总 是 在 解决 难题 时 ， 对 那些 带 有 无 数 可 能 答案 
的 问题 ， 毫 不 费力 地 作出 能 使 世界 上 最 快 的 计算 机 都 费力 的 决策 。 之 所 以 如 此 ， 不 仅仅 是 因 
为 我 们 在 模式 认 知 、 学 习 和 推理 方面 更 加 优秀 ， 更 重要 的 是 ， 我 们 更 多 的 是 用 感 党 和 直觉 来 
指引 推理 和 作出 决策 。 因 此 ， 人 工 智 能 界 也 越 来 越 多 地 考虑 到 情绪 对 认 知 的 影响 。 诺 贝尔 奖 
得 主 H. Simon 在 认 知 基础 方面 强调 : 思想 和 解决 问题 的 基础 理论 要 结合 情绪 影响 。Minsky 
也 认为 问题 不 在 于 智能 机 带 是 否 能 有 情感 ， 而 在 于 如 果 没 有 情感 机 右 如 何 智 能 。 麻 省 理工 学 
院 的 Picard 也 指出 ， 计 算 机 要 真正 高 效 地 实现 决策 ， 就 要 有 与 基于 规则 (Rule-based) 系统 
共同 工作 的 类 情感 (Emotion-like) 装置 。 

目前 ,已 经 有 一 些 研究 者 在 这 方面 进行 了 积极 的 探索 。Custodio 等 人 提出 的 、 基 于 情绪 
的 系统 是 一 种 可 用 于 智能 控制 的 模型 。J. Gratch 建立 了 一 个 模型 ， 探 讨 在 军事 飞行 计划 中 的 
情绪 对 决策 的 影响 。 

(3) 交流 可 能 情感 所 展示 的 、 在 交流 中 的 关键 作用 是 目前 最 吸引 那些 致力 于 智能 ? 
算 领 域 的 研究 者 注意 的 ， 很 多 研究 被 吸引 到 情感 的 这 个 方面 。 

随 着 科技 的 发 展 ， 我 们 的 工作 和 生活 越 来 越 多 地 和 计算 机 联系 在 一 起 ， 使 得 计算 机 与 人 
类 的 人 机 关系 越 来 越 紧密 。 另 外 ， 各 种 各 样 的 机 器 人 也 正在 浮现 ， 并 且 会 越 来 越 多 地 出 现在 
我 们 的 周围 。 这 些 都 引发 了 一 个 重要 的 问题 ， 如 何 使 这 些 复杂 精密 的 机 器 和 我 们 能 够 进行 简 
易 、 有 效 、 和 谐 的 交流 。 

在 人 机 交互 领域 ， 斯 坦 福 大 学 的 Reeves 和 Nass 进行 了 一 系列 研究 ， 他 们 在 研究 人 的 社 
会 关系 的 经 典 实 验 中 ， 让 计算 机 代替 部 分 人 的 位 置 。 实 验 表明 ， 人 机 交流 实验 结果 与 人 类 实 
验 结果 相同 。Reeves 和 Nass 得 出 结论 : 人 与 计算 机 间 的 联系 有 自然 性 和 社会 性 。 在 人 机 交 
互 中 所 需要 解决 的 问题 同人 和 人 交流 中 所 需要 解决 的 问题 是 一 致 的 ， 最 关键 的 都 是 “情感 
智能 ”的 能 

因为 人 与 人 的 情感 交流 是 自然 发 生 的 ， 我 们 也 期 望 人 机 交流 时 会 发 生 情 感 交流 。 在 人 机 
交互 和 机 咒 人 的 研究 中 ， 和 希望 计算 机 能 够 富有 感情 地 与 人 类 进行 各 种 交流 ， 在 交流 中 进行 自 
我 分 析 、 自 我 调控 以 及 自我 完善 ， 从 而 使 人 机 交流 进行 得 更 为 融洽 、 和 谐 。 虚 拟 环 境 的 研究 
者 希望 通过 赋予 智能 体 (Agent) 情绪 来 增加 智能 体 的 可 信和 性， 使 所 创造 的 智能 体能 够 像 真 
实 有 机 体 那样 被 人 们 理解 和 接受 。 情 感 信息 处 理 是 试图 赋予 计算 机 类 似 于 人 一 样 的 观察 、 理 
解 和 生成 各 种 情感 特征 的 能 力 ， 最 终 目标 是 达到 人 机 之 间 和 人 与 人 之 间 一 样 ， 能 进行 自然 、 
亲切 和 生动 的 智能 交互 。 

个 拥有 情感 信息 处 理 能 力 的 计算 机 ， 能 够 对 人 类 的 情感 进行 获取 、 分 类 、 识 别 和 响 
应 ， 进 而 帮助 使 用 者 获得 高 效 而 又 亲切 的 感觉 ， 并 有 效 减轻 人 们 使 用 计算 机 的 疲惫 感 ， 甚 至 
帮助 人 们 便于 理解 自己 和 他 人 的 情感 世界 。 它 还 能 帮助 我 们 增加 使 用 设备 的 安全 性 〈 例 如 
当 采 用 此 类 技术 的 系统 探测 到 司机 精力 不 集中 时 ， 可 以 及 时 改变 车 的 状态 和 反应 ) 、 使 经 验 
人 性 化 、 让 计算 机 作为 媒介 进行 学 习 的 功能 达到 最 佳 化 ， 并 从 我 们 身上 收集 反应 信息 。 例 如 
在 信息 家 电 和 智能 仪器 中 ， 增 加 自动 感知 人 们 的 情绪 状态 的 功能 ， 可 以 提供 更 好 的 服务 。 在 
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信息 检索 应 用 中 ， 通 过 情感 分 
远程 学 习 中 ， 能 增加 教学 效果 
能 空间 或 虚拟 场景 等 等 。 情 感 
以 构筑 更 加 拟人 化 的 风格 。 

人 工 心理 理论 与 感性 科学 、 情 感 计算 都 是 研究 与 情感 相关 的 信息 。 他 们 都 需要 测量 、 识 
别 情感 信息 ， 进 行情 感 信息 处 理 并 通过 计算 机 来 实现 ， 其 中 对 情绪 的 研究 是 极其 重要 的 一 部 
分 ， 也 是 整个 情感 信息 处 理 研究 的 基础 。 研 究 情绪 非常 困难 ， 是 因为 无 法 将 情绪 进行 直接 度 
量 和 量化 ， 而 要 想 让 计算 机 能 处 理 情感 信息 ， 就 要 首先 对 情绪 进行 数学 化 表示 ， 然 后 才能 建 
立 情感 信息 处 理 模型 ， 才 能 使 计算 机 具有 识别 处 理 乃 至 产生 情感 的 能 力 。 目 前 心理 学 、 脑 科 
学 、 认 知 科 学 、 计 算 机 科学 都 越 来 越 关注 对 情绪 的 研究 ， 随 着 对 情绪 研究 的 开展 ， 情 绪 的 数 
学 描述 的 研究 也 变 得 越 来 越 重要 了 。 下 面 从 维度 空间 、 概 率 空间 、 信 息 粹 及 非 线 性 动态 系统 
等 方面 来 详细 介绍 情绪 的 数学 描述 。 

目前 心理 学 中 有 两 种 不 同情 绪 研 究 途径 : 基本 情绪 论 和 维度 论 。 基 本 情绪 论 认 为 情绪 在 
发 生 上 有 原型 形式 ， 即 存在 着 数 种 人 类 的 基本 情绪 类 型 ， 每 种 类 型 各 有 其 独特 的 体验 特性 、 
生理 唤醒 模式 和 外 显 模式 ， 其 不 同形 式 的 组 合 形成 了 人 类 情绪 。 如 Watson 根据 对 儿童 进行 
的 一 系列 观察 ， 假 定 有 三 种 类 型 的 基本 情绪 反应 : 恺 惧 、 愤 怒 和 爱 。 他 把 这 三 种 反应 标示 为 
X、Y 和 Z。 从 个 体 发 展 角 度 来 看 ， 基 本 情绪 的 产生 是 有 机 体 自然 成 熟 的 结果 ， 而 不 是 学 习 
得 到 的 。 从 生物 进化 的 观点 看 ， 情 绪 原 型 是 适应 和 进化 的 产物 ， 也 是 适应 和 进化 的 手段 。 一 
个 孩子 出 生 时 对 他 生存 所 需 的 复杂 物质 和 营养 需求 一 无 所 知 ， 但 他 拥有 许多 原始 的 情绪 ， 如 
愉快 、 悲 伤 、 人 愤怒、 害怕 、 厌 恶 和 惊讶 ， 这 些 情绪 最 初 为 少数 事件 所 诱发 ， 但 实际 上 这 些 事 
件 在 人 类 祖先 的 漫长 历史 中 是 经 常 发 生 的 。 例 如 ， 愉 快 这 种 情绪 在 出 生 后 几 周 内 即 有 所 表 
M, 最 初 是 由 那些 满足 基本 生理 需求 或 提示 养育 者 亲近 的 事件 诱发 的 。 微 笑 是 愉快 表情 的 可 
靠 指标 ， 婴 儿 在 吃 饱 时 、 睡 眠 中 、 被 抚摸 或 被 轻 轻 摇晃 时 ， 或 听 到 轻柔 的 高 音调 声音 时 ， 常 
常会 面 露 微 笑 。 皮 肤 被 弄 疼 时 ， 总 会 引起 婴儿 岚 六 ， 显 得 非常 不 高 兴 ， 但 温柔 的 抚摸 和 摇晃 
却 能 让 婴儿 本 能 地 发 出 微笑 ， 表 现 出 很 舒服 的 样子 。 对 于 基本 情绪 应 包括 哪些 情绪 ， 则 有 不 
同 的 看 法 ， 最 常 被 提 到 的 是 厌恶 、 慎 怒 、 高 兴 、 悲 伤 、 害 怕 等 。 支 持 基本 情绪 论 的 最 著名 的 
研究 是 Ekman 和 Izard 进行 的 面部 表情 和 运动 反应 的 研究 。Ekman 等 要 求 新 几内亚 被 试 者 设 
想 自己 是 某 个 故事 情节 中 的 人 物 ， 并 且 尽 可 能 地 表现 出 故事 中 人 物 的 面部 表情 ， 同 时 研究 人 
员 将 他 们 的 面部 表现 录制 下 来 ， 然 后 让 美国 学 生 观 看 并 识别 这 些 表 情 ， 结 果 美 国学 生 能 够 从 
六 种 表情 中 识别 出 四 种 表情 : 快乐 、 愤 怒 、 厌 恶 、 翡 伤 。 孟 昭 兰 等 的 实验 也 证 明 中 国 婴儿 和 
西方 标准 化 基本 情绪 表情 模式 是 一 致 的 ， 同样， 中国 婴儿 与 中 国 成 年 人 的 基本 情绪 的 表情 模 
式 也 是 一 致 的 ， 社 会 化 了 的 成 人 表情 中 仍然 保留 着 基本 表情 模式 。Levenson 等 以 苏门答腊 的 
年 轻 人 和 美国 大 学 生 分 别 作为 被 试 者 ， 指 导 他 们 运动 面部 特定 肌肉 以 表达 基本 情绪 ， 并 进行 
一 系列 生理 学 测量 ， 最 后 把 两 组 测量 结果 进行 比较 ， 发 现 与 基本 情绪 相 联系 的 自主 神经 系统 
的 生理 反应 模式 具有 很 大 的 跨 文化 一 致 性 ， 这 样 的 实验 结果 趋向 于 证 实 各 基本 情绪 存在 着 泛 
人 类 的 特定 生理 唤醒 模式 。 维 克 托 . S . 约翰 斯 顿 在 他 的 著作 《情感 之 源 一 一 关于 人 类 情绪 
的 科学 》 中 提 到 ，2 岁 的 小 孩 就 能 显露 出 六 种 基本 的 社会 性 情绪 。 这 些 情 绪 可 以 通过 与 之 对 
应 的 特有 面部 表情 加 以 识别 。 微 笑 、 皱 眉 、 巡 眼 和 怪 相 分 别 是 快乐 、 翡 伤 、 愤 怒 和 和 妨 惧 的 表 
示 。 叶 舌 闭 上 腿 是 厌恶 的 表露 ， 而 张嘴 睦 眼 则 肯定 是 惊讶 的 表露 。 先 天 眼 育 和 耳 玖 的 儿童 同样 





析 的 概念 解析 功能 ， 可 以 提高 智能 信息 检索 的 精度 和 效率 。 在 
。 利 用 多 模式 的 情感 交互 技术 ， 可 以 构筑 更 贴近 人 们 生活 的 智 
言 息 处 理 还 能 应 用 在 机 器 人 、 智 能 玩具 、 游 戏 等 相关 产业 中 ， 
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具有 这 些 面 部 表情 。 这 强烈 揭示 ， 和 基本 的 躯体 性 感情 一 样 ， 这 些 表情 以 及 与 其 相 联系 的 情 
感 也 是 构成 我 们 生物 学 本 性 的 一 部 分 。 

一 些 学 者 反对 基本 情绪 论 ， 他 们 的 反对 意见 主要 集中 在 以 下 几 个 方面 : 

1) 尽管 一 些 实验 证 明了 情绪 的 泛 文 化 模式 ， 但 是 研究 中 也 发 现 了 情绪 的 某 些 跨 文化 差 
异 。 

2) 心理 学 和 语言 学 的 研究 发 现 ， 基 本 情绪 词汇 的 含义 在 不 同 语言 之 间 具 有 显著 差异 。 

3) 基本 情绪 论 来 自 于 内 省 法 ,实际 上 并 没有 足够 的 证 据 证 明 各 基本 情绪 具有 各 自 不 同 
的 神经 生理 机 制 。 

4) 面部 表情 识别 的 基础 也 许 并 不 是 基本 情绪 类 型 ， 而 是 面部 表情 在 情绪 体验 的 双 极 维 
度 上 的 位 置 ， 或 者 是 面部 表情 诱发 的 行为 预备 模式 等 。 

心理 学 家 们 在 对 表情 的 识别 和 命名 的 研究 中 ， 提 出 了 维 量 的 分 析 方 法 。 情 绪 维 量 的 思想 
是 基于 这 样 的 假设 的 ， 情 绪 识 别 中 的 错误 与 表达 出 的 各 情绪 之 间 的 相似 性 呈 平 行 性 ， 而 且 这 
些 相 似 性 在 多 维 空间 内 事实 上 是 处 于 接近 的 地 位 。 这 样 对 情绪 的 识别 转变 成 将 情绪 放 入 多 维 
空间 的 事情 ， 并 且 维 量 的 概念 已 经 引起 了 减 化 情绪 空间 维 数目 的 研究 。 表 情 是 否 能 够 被 维 量 
减 化 的 表示 ， 取 决 于 下 面 两 个 问题 的 答案 : 

1) 维 量 是 否 描述 了 构成 表情 基础 的 “有 意义 的 ”或 “真实 的 ”情绪 的 轮廓 。 

2) 维 量 的 数码 是 多 少 。 

施 洛 伯 格 首先 提出 了 情绪 的 三 个 维 量 模式 ， 分 别 是 愉快 一 不 愉快 、 注 意 一 拒绝 和 激活 水 
平 〈 睡 眠 一 紧张 ) 。 其 后 ， 奥 斯 古 德 通过 对 演员 表情 的 研究 ， 也 提出 了 三 个 维 量 的 结果 ， 分 
别 是 愉快 一 不 愉快 维 、“ 强 度 ” 维 〈 相 当 于 睡眠 一 紧张 维 ) 和 “控制 ” 维 。 近 年 来 ， 普 拉 
奇 克 提 出 一 个 情绪 的 复合 维 模式 ， 他 在 一 个 倒立 的 锥 体 上 列 出 八 种 情绪 ， 分 别 是 喜悦 -悲伤 、 
鞠 同 -反感 、 预 期 的 -出 乎 预料 的 、 恼 怒 - 丽 惧 。 锥 体 从 项 到 底 的 核心 标志 是 强度 ， 锥 体 断 面 上 
分 割 的 八 种 情绪 按 相 似 性 和 极 性 排列 。 他 的 维 量 分 析 为 强度 、 相 似 性 和 极 性 三 种 。 

上 述 这 些 心理 学 家 们 通过 心理 实验 ， 对 情绪 的 维 量 数目 以 及 每 一 维 的 含义 进行 了 研究 。 
维 量 的 研究 在 表情 命名 和 识别 中 有 重要 影响 ， 维 的 概念 中 隐 含 的 简洁 性 在 任何 情绪 分 析 中 都 
是 有 重要 意义 的 。 在 心理 学 中 ， 维 量 研究 的 难点 在 于 分 析 维 的 含义 和 名 称 ， 不 过 在 情感 计算 
的 研究 中 ， 维 的 名 称 并 不 重要 ， 因 为 维 是 数学 一 哲学 的 抽象 物 。 维 量 的 思想 意味 着 可 以 采用 
适当 的 方法 建立 一 个 情感 空间 ， 每 一 个 情感 都 可 以 看 成 该 空间 的 一 个 向 量 ， 情 感 之 间 的 变化 
就 是 向 量 的 转换 ， 从 而 实现 计算 机 情感 。 

从 人 类 情绪 进化 的 角度 看 ， 这 两 种 情绪 结构 基础 的 理论 并 没有 互相 排斥 。 基 本 情绪 论 和 
维度 论 也 许 并 不 是 矛盾 的 ， 承 认 人 类 确实 存在 这 种 先天 的 非 学 习 得 到 的 基本 情绪 ， 并 不 代表 
着 一 定 要 否认 正人 负 情 绪 的 分 离 。 不 过 两 者 代表 了 情绪 系统 中 的 不 同 层次 ,维度 位 于 情绪 系统 
的 基层 ,与 机 体 生存 有 关 的 趋 避 活动 密切 相关 ， 对 于 一 切 生 物 ， 情 绪 的 原型 形式 也 许 只 有 两 
种 ， 即 快乐 和 不 快乐 。 随 着 不 断 进化 ， 在 个 体 与 环境 交互 作用 过 程 中 ， 情 感 系统 变 得 越 来 越 
细 化 。 一 直到 人 类 ， 人 情绪 高 度 分 化 。 正 情绪 分 化 为 快乐 、 喜 欢 、 爱 等 ; 负 情 绪 分 化 为 厌恶 、 
愤怒 、 玖 惧 和 忧愁 、 悲 伤 、 痛 苦 等 。 新 生 儿 也 许 只 有 基本 情绪 ， 但 随 着 时 间 的 推移 、 后 天 环 
境 和 学 习 的 影响 ,使 得 情绪 变 得 更 为 系统 化 和 复杂 化 ， 新 的 情绪 类 型 不 断 增加 ， 如 羞耻 和 乾 
碎 等 。 而 这 样 的 生物 进化 和 个 体 发 展 过 程 与 神经 系统 的 不 断 进 化 和 发 育 是 分 不 开 的 ， 这 就 说 
明了 情绪 既 不 是 先天 基因 ， 也 不 是 后 天 环境 单独 决定 的 ， 而 是 两 者 共同 作用 的 结果 。 
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维度 论 实 际 上 也 并 没有 排斥 人 类 基本 情绪 的 存在 。 基 本 情绪 在 二 维 空间 中 具有 一 定 的 定 
位 ， 比 如 快乐 往往 属于 高 唤醒 、 高 正 性 ; 悲伤 属于 低 唤 醒 、 高 负 性 。 黄 宇 霞 等 首先 对 国际 情 
绪 图 片 系统 (International Affectiue Picture System, IAPS) 中 的 300 幅 图 片 在 愉悦 度 、 唤 醒 
度 、 控 制度 三 个 维度 上 进行 了 评定 ， 并 且 又 综合 三 个 维度 的 评分 ， 将 这 300 幅 图 片 划分 为 6 
类 ， 结 果 发 现 这 6 类 部 分 地 对 应 了 某 些 基本 情绪 类 型 ， 如 类 1 和 类 6 诱发 快乐 情绪 ， 类 2 较 
接近 为 恐惧 ， 类 3 和 类 4 KRE, 类 5 引起 的 主要 是 中 性 情绪 ， 其 中 类 2 和 类 6 还 包含 一 些 
惊奇 的 情绪 成 分 。 然 而 研究 也 发 现 ， 维 度 与 基本 情绪 类 型 之 间 并 不 具备 一 一 对 应 的 关系 ， 两 
者 无 法 实现 自由 的 精确 转换 。]J. G. Yaylor 等 研究 者 让 被 试 者 识别 陌生 人 的 表情 ， 包 括 中 性 、 
快乐 、 翡 伤 、 人 愤怒 四 种 表情 ， 并 要 求 分 别 从 评价 〈 相 当 于 快乐 度 ) 、 唤 醒 和 行为 〈 相 当 于 趋 
避 度 ) 三 个 维度 值 对 这 些 卫生 面孔 进行 表情 识别 。 实 验 结果 发 现 ， 这 四 种 按照 基本 情绪 分 
类 的 表情 各 自 成 簇 分 布 在 三 维 空间 中 ， 尽 管 也 存在 着 某 些 离 散 分 布 ， 但 这 并 没有 影响 规律 性 
分 布 的 趋势 。 也 许 我 们 能 从 人 类 的 颜色 视觉 理论 得 到 启发 ， 情 绪 体 验 的 自我 报告 与 颜色 体验 
报告 并 没有 本 质 的 不 同 ， 一 个 简单 的 内 在 结构 可 以 说 明 丰 富 多 彩 的 情感 世界 和 颜色 世界 。 经 
典 的 三 色 说 认为 存在 红 、 绿 、 蓝 三 种 基本 原色 ， 三 原色 不 同比 例 的 混和 形成 了 所 有 我 们 看 到 
的 颜色 。 神 经 生理 学 和 生物 化 学 等 研究 证 明 ， 对 这 三 原色 的 视觉 加 工具 有 各 自 不 同 的 神经 化 
学 机 制 。 同 时 ， 许 多 研究 人 员 都 认为 ， 千姿百态 的 颜色 体验 可 以 用 一 定 的 维度 空间 来 表示 。 
但 和 情绪 一 样 ， 并 没有 一 个 统一 的 维度 标准 ， 或 者 说 不 同 的 颜色 维度 方法 具有 各 自 不 同 的 优 
势 。 

2. 情绪 的 维度 空间 描述 

情绪 具有 多 维度 结构 ， 维 度 是 情绪 的 一 种 特性 。 维 度 论 认 为 ， 几 个 维度 组 成 的 空间 包括 
了 人 类 所 有 的 情绪 。 情 绪 的 表示 可 以 看 作 是 具有 信息 度量 的 多 维 空间 的 点 在 情感 空间 中 的 映 
射 ， 情 感 计算 的 基础 就 是 找到 这 个 映射 维度 论 ， 把 不 同情 绪 看 作 是 逐渐 的 、 平 稳 的 转变 ， 不 
同情 绪 之 间 的 相似 性 和 差异 性 是 根据 彼此 在 维度 空间 中 的 距离 来 显示 的 。 

情绪 的 维 量 ( Dimension) 系 指 情绪 在 其 所 固有 的 某 种 性 质 上 ， 存 在 着 一 个 可 变化 的 度 
量 。 例 如 ， 紧 张 是 情绪 具有 的 一 种 属性 ， 而 当 任 何 种 类 的 情绪 发 生 时 ， 在 其 紧张 这 一 特性 上 
可 以 有 不 同 的 幅度 ， 紧 张 度 就 是 情绪 的 一 个 维 量 或 变量 。 

情绪 的 维 量 幅度 变化 有 一 个 特点 ， 维 量具 有 极 性 (Polarity) ， 即 维 量 是 不 同 幅 度 上 的 两 
极 ,例如 紧张 维 的 两 极为 “ 松 绥 一 紧张 "。 情 绪 的 维 量 与 极 性 是 情绪 的 一 种 固有 属性 ， 在 情 
绪 测量 时 ， 必 须 把 它 作 为 一 个 变量 来 加 以 考虑 。 

迄今 提出 的 维度 划分 方法 是 不 同 的 和 各 式 各 样 的 ， 目 前 并 没有 统一 的 标准 来 评测 哪 种 维 
度 划 分 方法 更 好 。 下 面 是 对 一 些 维度 理论 的 总 结 。 

(1) 情绪 的 一 维 表示 。” 维克托. S- 约翰 斯 顿 认为 ， 情 感 的 快乐 维度 可 以 视 为 一 条 标 
尺 ， 其 一 端 为 正极 表示 极度 快乐 ， 男 一 端 为 负极 ， 表 示 极 度 不 快乐 。 所 有 的 情感 ， 除 了 它 
们 的 独特 性 质 ， 比 如 厌恶 、 疼 痛 、 骄 傲 、 快 乐 和 悲伤 ， 它 们 都 治 着 这 一 条 共同 的 快乐 维度 移 
位 。 这 些 移 位 可 看 作 是 相对 于 当前 的 快乐 尺度 的 正 相 或 负 相 变换 ， 同 时 变换 的 量 值 决定 了 和 情 
感 体 验 的 强度 。 快 乐 可 以 看 作 是 快乐 基调 朝向 正极 的 移 位 ， 而 悲伤 这 类 不 快乐 则 被 看 作 是 快 
乐 基调 朝向 相反 方向 的 移 位 。 当 引起 负 相 情绪 的 事件 、 因 子 或 情景 中 止 时 ， 孩 子 会 体验 到 正 
相 快乐 基调 。 也 就 是 说 ， 随 着 坐标 点 由 负极 附近 向 正极 方向 的 移动 ， 负 值 有 所 减少 ， 不 愉快 
的 程度 也 相应 降低 。 同 样 ， 翡 伤 的 体验 程度 一 一 从 不 满足 或 不 愉快 到 忧伤 甚至 抑郁 一 一 也 将 
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随 着 负 移 位 量 值 的 改变 而 变化 。 

快乐 维度 是 情感 共有 的 重要 属性 ， 我 们 许多 不 同 的 情感 借 此 相互 影响 。 父 母 或 好 友 带 来 
的 正 癌 情感 可 能 会 大 大 减弱 丸 慢 、 人 愤怒 、 内 次 或 疼痛 的 不 快 。 更 为 重要 的 是 ,快乐 基调 的 这 
些 正 的 或 负 的 移 位 规定 了 奖赏 和 惩罚 ， 以 及 情感 的 属性 。 引 起 正 向 情感 的 事件 或 撤 出 引起 负 
相 情 感 的 事件 导致 向 正极 方向 的 移 位 ， 分 别 被 心理 学 家 称 为 正 强化 和 负 强 化 。 心 理学 家 把 强 
化 定义 为 在 行为 之 后 能 增强 行为 发 生 可 能 性 的 事件 。 奖 赏 是 正 强 化 ， 惩 罚 是 负 强 化 。 

(2) 情绪 的 二 维 表示 “虽然 心理 学 界 对 情绪 维度 观点 各 不 相同 ， 但 大 体 上 可 将 情绪 的 
维度 归纳 为 正 负 两 极 〈 正 性 情绪 一 负 性 情绪 ) 和 强 弱 两 端 (强烈 的 情绪 一 弱 的 情绪 ) 。 

从 本 质 看 ， 情 绪 可 包含 正 性 情绪 和 负 性 情绪 。 在 实践 工作 中 ， 很 需要 对 情绪 的 两 个 维度 
进行 评定 。 同 时 ， 由 于 人 的 情绪 复杂 多 样 ， 日 常生 活 中 人 们 习惯 用 形容 词 来 描述 情绪 以 及 其 
程度 。20 世纪 60 年 代 前 的 很 长 一 段 时 期 ， 人 们 普遍 认为 情绪 是 单一 维度 的 ， 正 性 情绪 与 负 
性 情绪 有 很 大 的 负 相 关 。1966 年 Wessman 和 Ricks 在 对 大 学 生 的 小 样本 研究 中 ， 发 现 了 正 、 
负 情 绪 互 为 独立 的 现象 。1969 年 Braduburn 做 了 进一步 研究 ， 他 在 收集 、 分 析 了 不 同 民族 的 
大 样本 资料 的 基础 上 ， 提 出 了 情绪 具有 正 、 负 两 个 不 同 的 、 相 互 独立 的 维度 特征 的 观点 ， 即 
个 体 有 正 性 情绪 体验 时 ， 并 不 意味 着 没有 负 性 情绪 的 体验 ; 具有 强烈 负 性 情绪 体验 的 同时 ， 
也 可 能 有 较 强 的 正 性 情绪 体验 。 他 们 对 情绪 的 理解 跨 出 了 原来 一 个 维度 的 结构 框架 ， 而 将 情 
绪 理 解 为 具有 相对 独立 的 两 个 维度 。Zevon 和 Tellege (1982 年 ) 使 用 因素 分 析 ， 再 一 次 证 
明了 正 、 负 性 情绪 的 两 维度 结构 。 这 期 间 ， 不 同 的 研究 人 员 根 据 自 己 对 情绪 两 维 结构 的 理 
解 ， 编 制 和 发 表 了 一 些 正 、 负 性 情绪 量 表 。 而 后 ，Watson 等 人 对 发 表 的 量 表 进行 分 析 ， 发 
现 了 存在 的 一 些 问 题 ， 如 信和 度 不 高 、 一 臻 性差 、 鉴 别 力 不 够 以 及 元 长 的 条 目 等 。 为 此 ， 他 们 
重新 编制 了 正 、 负 性 情绪 量 表 。 他 们 先 选取 了 具有 代表 性 的 60 个 条 目 ， 然 后 进行 筛选 和 项 
目 分 析 ， 最 后 选 定 了 20 个 反应 情绪 的 形容 词 ， 其 中 的 10 个 代表 正 性 情绪 ， 另 外 10 个 代表 
负 性 情绪 。 量 表 发 表 以 来 ， 获 得 了 人 们 的 公认 。 它 不 仅 在 信和 度 、 一 致 性 和 鉴别 力 上 比 原先 的 
量 表 有 了 较 大 的 改善 ， 而 且 简明 ， 使 用 非常 方便 。 近 几 年 ， 它 被 广泛 应 用 于 评定 社区 人 和 群 。 

方法 和 测 查 工具 : @ 正 性 负 性 情绪 量 表 (PANAS) ， 采 用 完全 双 盲 的 方法 进行 英 译 中 和 
回 译 。 该 量 表 由 20 个 形容 词组 成 ， 包 含 了 两 个 情绪 维度 : 正 性 情绪 和 负 性 情绪 。 正 性 情绪 
量 表 由 描述 正 性 情绪 的 10 个 形容 词组 成 ， 如 自豪 的 、 热 情 的 、 正 性 情绪 分 数 高 ， 表 示 个 体 
精力 旺盛 、 能 全 神 贯 注 和 快乐 的 情绪 状况 ; 而 分 数 低 表明 淡漠 。 负 性 情绪 量 表 由 描述 负 性 情 
绪 的 10 个 形容 词组 成 ， 如 心烦 的 、 内 次 的 。 负 性 情绪 分 数 高 表示 个 体 主观 感觉 用 惑 、 痛 苦 ， 
而 分 数 低 表示 镇 定 。 量 表 对 正 性 情绪 和 负 性 情绪 两 个 分 量 表 进 行 统计 分 析 。 要 求 被 试 者 根据 
自己 近 一 两 个 星期 的 实际 情况 在 每 一 个 形容 词 后 面相 应 的 答案 上 画 圈 。 每 一 个 形容 词 后 有 5 
个 选择 答案 几乎 没有 、 比 较 少 、 中 等 程度 、 比 较 多 和 极其 多 。@) 症 状 自 评 量 表 (SCL- 
90)， 统 计 指 标 为 总 分 、 先 体 化 、 强 迫 、 人 际 关系 、 抑 郁 、 焦 虑 、 敌 意 、 私 怖 、 偏 执 、 精 神 
病症 、 其 他 ， 共 11 项 。 此 量 表 为 效 标 工具 (摘自 正 性 负 性 情绪 量 表 的 中 国人 群 适 用 性 研 
究 )。 

(3) 情绪 的 三 维 表示 ”从 实验 心理 学 的 奠基 人 德国 心理 学 家 冯 特 (W Wundt) 开始 ， 
就 注意 在 分 类 的 同时 对 各 种 情绪 的 普遍 性 质 进行 概括 。1896 年 冯 特 提出 了 情绪 三 维 学 说 。 
他 认为 : 感情 过 程 是 由 三 对 感情 元 素 构 成 的 ， 它 们 是 愉快 一 不 愉快 (快乐 度 ) 、 兴 奋 一 沉静 
(冲动 度 ) 、 紧 张 一 松弛 三 种 维度 。 每 一 维度 都 有 两 极 性 的 强 弱 变化 ， 每 一 种 情绪 在 具体 发 





































































































83 











生 时 ， 都 处 在 这 三 个 维 量 的 两 极 之 间 的 不 同位 置 上 ， 如 图 3-6 所 示 。 汉 特 的 感情 三 维 理论 虽 
然 建立 在 主观 推测 的 基础 上 ， 但 却 比 较 符 合 实际 ， 后 来 的 多 种 情绪 量 表 都 是 以 此 为 基础 发 展 
起 来 的 ， 至 今 汉 特 的 三 维 理论 仍 有 理论 和 实际 的 意义 。 

冯 特 之 后 ， 美 国 心 理学 家 吴 伟 士 ( Woodworth ) 继续 研究 情绪 的 分 类 工作 。 他 的 学 生 、 美 
国 的 心理 学 家 施 洛 伯 格 (H. Schlosherg ) 依据 面部 表情 进行 对 情绪 的 分 类 人 研究， 并 于 20 世纪 
50 年 代 初 对 情绪 提出 新 的 三 维 认识 ,他 根据 愉快 一 不 愉快 ( A) 、 注 意 一 拒绝 (B) 及 激活 (C) 
水 平 三 维特 征 构 成 一 个 倒立 的 椭圆 锥 形 情 绪 空 间 ， 如 图 3-7 所 示 。 椭 圆 切 面 的 长 轴 为 快乐 
维 ， 短 轴 为 注意 维 ， 表 明 情 绪 的 快乐 度 比 注意 度 可 作出 更 精确 的 区 分 ， 垂 直 于 椭圆 平面 的 激 
活水 平 是 强度 维 。 通 过 这 三 种 维度 的 组 合 ， 任 何 情绪 都 可 以 在 椭圆 锥 上 找到 符合 自己 的 合适 
位 置 。 他 提出 的 三 维 量 表 是 西方 心理 学 界 根据 具体 情绪 提出 的 第 一 个 维度 情绪 量 表 。 
















































































兴奋 
松弛 
愉快 条 不 愉快 
紧张 
沉静 睡眠 
图 3-6 WF (1910 年 ) 的 情绪 三 维 模式 图 图 3-7， 施 洛 伯 格 的 情绪 三 维 模式 








资料 来 源 : 克 雷 奇 等 《心理 学 纲要 》，1981 
































奥 斯 古 德 研究 维 量 的 方法 是 ， 通 过 使 用 形容 词 核对 表 或 评价 量 表 去 判断 情绪 的 表现 一 一 
表情 的 意义 。 他 在 实验 中 让 被 试 者 针对 一 名 演员 的 表演 的 活生生 的 、 静 止 的 表情 ， 从 40 个 
情绪 状态 名 称 中 选择 一 个 作为 能 最 恰当 地 表示 对 应 表情 的 名 称 。 通 过 对 测试 结果 的 分 析 ， 奥 
斯 古 德 绘制 出 一 个 三 维 量 模式 ， 这 三 个 维 量 是 愉快 一 不 愉快 维 、 强 度 维 (相当 于 睡眠 一 紧 
张 维 )、 控 制 维 。 控 制 维 可 以 说 是 奥 斯 古 德 实验 技术 中 特有 的 维 ， 因 为 它 辨 认 出 了 来 自 环境 
的 那些 “演员 ”所 作出 的 表情 。 

当今 西方 心理 学 界 最 典型 的 多 维 量 表 是 1962 年 普 拉 奇 克 (R. Plutchlk) 提出 的 以 两 极 
性 、 相 似 性 、 强 度 三 个 维 量 构成 的 倒立 圆锥 情绪 空间 ， 如 图 3-8 所 示 。 普 拉 奇 克 运 用 情绪 词 
分 析 法 ， 用 大 学 生 作为 被 试 者 进行 实验 ， 对 情绪 词 的 平均 分 数 用 相关 方 阵 作 因素 分 析 ， 以 前 
两 个 因素 的 负荷 量 计算 为 根据 决定 每 一 情绪 的 位 置 ， 根 据 计 算 ， 情绪 方 阵 相 关 成 环形 图 式 。 
在 该 圆锥 中 ， 每 块 截面 代表 一 种 原始 情绪 ， 共 有 8 种 原始 情绪 ， 垂 直方 向 表示 强度 变化 ， 每 
种 原始 情绪 都 随 着 强度 的 变化 而 有 不 同 的 形式 ， 越 上 ， 越 分 化 ， 越 强 ; 越 下 ， 越 不 分 化 ， 越 
弱 ， 截 面 上 处 于 相 邻 位 置 则 表示 情绪 性 质 接 近 ， 处 于 对 角 位 置 的 情绪 是 相对 立 的 ， 和 截面 中 心 
区 域 表 示 冲 突 ， 是 由 混合 的 动机 卷 人 而 形成 的 。 普 拉 奇 克 认 为 ， 所 有 情绪 都 表现 出 不 同 的 强 
度 ， 如 从 忧郁 到 悲痛 ; 任何 情绪 在 与 其 他 相似 情绪 的 相似 程度 上 都 有 不 同 ， 如 民 恨 与 愤怒 比 
厌恶 与 惊奇 更 为 相似 ; 任何 情绪 都 有 相对 立 的 两 极 ， 如 民 恨 与 接受 、 愉 快 与 悲伤 。 
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Al3-8 善 拉 奇 克 锥 体 心 理 模型 


刺激 事项 


假定 的 认 知 


情绪 


强度 : 强 (8.5< 评价 ) 


强度 :中 (7< 评 价 <8.5) 


强度 : 弱 (4< 评价 <7) 


功能 .效果 
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目前 比较 公认 的 情绪 多 维 模式 是 愉悦 度 、 唤 醒 度 和 优势 度 构成 的 三 维 模式 。 

1) 愉悦 度 : 其 理论 基础 是 正 负 情绪 的 分 离 激 活 脑 成 像 研究 。 证 实 正 、 负 情绪 分 别 是 
左 、 右 半球 优势 。 惊 反射 〈 皱 眉 肌 活动 ) 指标 能 够 反映 愉悦 度 。 

2) ERE: 唤醒 的 作用 是 调动 机 体 机 能 ， 为 行为 作 准备 。 皮 电 反 应 指标 能 够 反映 唤醒 
度 。 一般 认为 ， 由 于 人 的 手指 及 手掌 的 汗腺 对 交感 神经 兴奋 特别 敏感 ， 故 在 紧张 、 焦 虑 的 情 
况 下 会 出 现 精神 性 发 汗 ， 导 致 皮肤 电阻 的 降低 称 为 皮 电 反应 。 

3) 优势 度 是 用 来 衡量 优势 大 小 的 一 个 指标 。 这 里 是 指 相对 于 动机 的 比较 和 选择 而 言 ， 
是 影响 动机 强度 的 因素 。 

另外 ,还 有 一 些 情绪 的 维度 模式 。 

鲁 门 瑟 尔 (Blumenthal) 认为 情绪 是 注意 、 唤 起 和 愉快 三 因素 的 结合 ， 据 此 可 把 这 三 
个 因素 的 特定 结合 解释 为 某 种 情绪 。 

Millenson 认为 有 些 情 绪 是 基本 需要 (焦虑 、 欢 欣 和 愤怒 ) ， 其 他 情绪 则 是 这 些 基本 情绪 
的 合成 。 他 采用 Watson 的 X、Y 和 2Z 因素 ， 发 展 出 一 个 三 维度 的 情绪 坐标 系统 ， 以 这 三 种 
原始 情绪 作为 基本 轴线 。 他 提出 的 模式 没有 包括 所 有 的 人 类 情绪 ， 但 他 认为 ， 那 些 被 排除 在 
外 的 情绪 只 是 原始 情绪 的 混合 物 。 

J. G. Taylor 采用 评价 (相当 于 快乐 度 )、 唤 醒 和 行为 (相当 于 趋 避 度 ) 这 三 个 维度 值 对 
陌生 面孔 进行 表情 识别 。 

(4) 情绪 的 多 维 表示 

1) Krech 四 维 : 克 雷 奇 (Krech) 认为 强度 是 指 各 种 情绪 由 弱 到 强 的 变化 范围 ; 紧张 
水 平 是 对 要 发 生动 作 的 冲动 而 言 ; 复杂 度 是 对 多 种 情绪 组 合 而 成 的 复杂 情绪 度量 ; 快感 度 是 
指 情绪 在 不 愉快 至 愉快 之 间 的 变化 。 根 据 情绪 的 四 维度 模式 ， 可 以 对 情绪 进行 描述 ， 其 强度 
有 和 多大、 紧张 水 平 如 何 、 快 感度 有 和 多大、 复杂 程度 怎样 等 ， 这 样 就 顾及 情绪 的 各 个 方面 
了 。 

2) Izard 四 维 : 伊 扎 德 (Izard) 最 初 提出 的 八 种 维 量 是 从 众多 的 对 情绪 情境 作 自 我 评估 
的 数据 中 得 出 的 ， 后 经 筛选 ， 确 定 了 四 个 维 量 : 愉快 度 、 紧 张 度 、 激 动 度 、 确 信和 度 。 筛 选 掉 
的 四 个 维 是 : 活跃 度 、 精 细 度 、 可 控 度 和 外 向 度 。 伊 扎 德 对 所 选 的 四 个 维 量 解释 是 : 愉快 维 
表示 主观 体验 的 享乐 色调 ; 紧张 维和 激动 维 都 表示 情绪 的 神经 生理 激活 水 平 ， 其 中 紧张 维 表 
示 个 体 对 情绪 情境 的 突然 出 现 缺 乏 预料 和 缺少 准备 的 程度 ， 激 动 维 表示 兴奋 的 程度 ; 确信 维 
表示 个 体 胜任 、 承 受 感情 的 程度 。 伊 扎 德 的 四 维 说 根据 客观 测量 ， 在 一 定 程度 上 与 冯 特 的 三 
维 说 相 一 致 。 伊 扎 德 按照 他 所 制订 的 维度 评定 量 表 (DRS) 和 分 化 情绪 量 表 (DES) 可 对 情 
绪 体 验 作出 较 准 确 的 评估 。 

3) Frijda 六 维 : 弗 里 达 (Frijda) 用 因素 分 析 技 术 分 析 了 自己 的 研究 工作 ， 发 现 了 能 解 
FE 92% 变化 的 六 种 因素 ， 即 情绪 的 六 个 维度 。 中 人 愉快 一 不 愉快 ; @) 激 活 ， 弗 里 达 对 它 的 描 
述 相 当 于 强度 维 ， 而 不 是 睡眠 一 紧张 维 ， 因 为 此 维 低 端 是 缺乏 表情 ， 而 不 是 睡眠 ，@@ 类 似 于 
施 洛 伯 格 的 注意 一 拒绝 维 ， 但 是 把 它 说 成 兴趣 维 更 合适 ， 因 为 此 维 的 低 端 是 无 兴趣 而 不 是 拒 
绝 ; 由 弗 里 达 发 现 这 一 维 难以 命名 ， 但 建议 将 它 称 为 社会 评价 或 类 似 于 奥 斯 古 德 的 控制 维 ; 
电 和 人 @@ 是 更 小 的 因素 ， 前 者 被 描述 为 惊奇 ， 后 者 为 简单 一 复杂 。 弗 里 达 特 别 注 意 因素 他 、 
图 ， 因 为 它们 两 者 与 活动 有 关 。 他 认为 @ 是 情绪 的 强度 或 激活 ，@ 关 系 到 注意 的 唤醒 ， 它 类 
似 于 定向 反射 。 
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3.3.2 ” 几 种 典型 的 情绪 数学 描述 


L 普 拉 奇 克 的 情绪 锥 球 

普 拉 奇 克 CR. Plutchik) 所 提出 的 情绪 锥 球 描述 如 图 3-9 所 示 。 这 种 方法 混合 了 维度 和 
基本 情绪 理论 。 他 认为 任何 情绪 的 相近 程度 都 有 不 同 ， 任 何 情绪 都 有 与 其 在 性 质 上 相对 立 的 
另 一 种 情绪 ， 任 何 情绪 都 有 不 同 的 强度 。 他 采用 强度 、 相 似 性 和 两 极 性 三 个 维 量 ， 并 用 一 个 
倒立 的 锥 体 ， 在 锥 体 切面 上 分 隔 为 
块 ,切面 上 的 每 一 块 代表 一 种 原始 
情绪 。 共 有 8 种 原始 情绪 ， 每 种 原 
始 情绪 都 随 自 下 而 上 强度 的 增 大 而 
有 不 同 的 形式 ; 截面 上 处 于 相 邻 位 
置 的 情绪 是 相似 的 ， 处 于 对 角 位 置 
的 情绪 是 相对 立 的 ; 截面 中 心 区 域 
表示 冲突 ， 是 由 混合 的 动机 卷 人 而 
形成 的 。 普 拉 奇 克 认 为 ， 所 有 情绪 四 
都 表现 出 强度 的 不 同 ， 如 从 忧郁 到 
悲痛 ; 任何 情绪 在 与 其 他 情绪 相似 
的 程度 上 都 有 不 同 ， 如 异 恨 与 愤怒 人 
比 厌恶 与 惊奇 更 为 相似 ; 任何 情绪 全 
都 有 相对 立 的 两 极 ， 如 恼 恨 与 接受 ， 
愉快 与 悲伤 。 

2. 普 拉 奇 克 情绪 圆 环 模型 ( 见 
图 3-10) 
















# 球 模型 

















图 3-10 ” 普 拉 奇 克 情 绪 圆 环 模型 
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3. RR (Russell) 的 情感 圆 环 模型 (IA 3-11) 








党 本 
el 
紧张 Aas 快 党 的 
st 高 兴 的 
不 愉快 幸福 
tep 
不 愉快 愉快 
满足 
压抑 安心 
\\ 址 伤 平稳 
h jä 
~ He 
疲劳 人 
"e 
困 乏 的 


图 3-11 Russell 的 情感 圆 环 模型 


4. 拉 森 (Larsen) 和 迪 恩 尔 (Diener) 八方 向 模型 (ILA 3-12) 


( 例 : 觉醒 、 集 中 精神 ) 


不 愉快 的 活性 愉快 的 活性 
(Bil: 紧张 、 神 经 质 ) ( 例 : 兴奋 、 得 意 满面 ) 
不 愉快 愉快 
( 例 :悲哀 的 、 不 幸 ) ( 例 : 喜悦 、 幸 福 ) 
不 愉快 的 不 活跃 性 愉快 的 不 活跃 性 
( 例 : 疲劳 、 无聊) ( 例 : 平静 、 松 弛 ) 


不 知 路 性 
( 例 : 睡意 沉静 ) 
图 3-12 Larsen 和 Diener 八方 向 模型 


5. 情绪 的 方 锥 空间 模型 ( 见 图 3-13) 
3.3.3 心理 学 中 对 情绪 量化 的 思考 


1) 唐 孝 威 在 对 情绪 体验 的 研究 中 综合 了 经 验 事实 ， 提 出 了 对 于 一 个 被 试 者 和 同一 种 呈 
现 事 实 ， 近 似 描述 情绪 体验 强度 与 客观 呈现 事件 数量 之 间 的 一 个 数学 公式 。 
对 于 客观 呈现 的 某 种 事件 的 数量 用 P 表示 ，AP 表示 能 够 引起 受 试 者 情绪 体验 的 变化 所 
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需要 的 客观 呈现 事件 的 最 小 变动 量 。 那 么 认为 引起 受 试 者 情绪 体验 的 变化 所 需要 的 客观 呈 
事件 的 最 小 变动 量 的 值 是 事件 原来 呈现 数量 值 的 一 个 恒定 分 数 ， 即 AP/P = const, 
情绪 体验 强度 的 心理 量 和 客观 DEA BIE 

呈现 事件 数量 的 物理 量 P 之 间 的 
对 应 关系 的 数学 公式 是 E = alogP 
+b。 唐 孝 威 指出 这 个 公式 可 以 用 








ORI 
心理 学 实验 来 检验 。 

2) T. J. Tracy 提出 了 用 非 线性 明快 的 压力 @ 
动态 系统 方法 对 情绪 结构 进行 表 r 
XR, T. J. Tracy 认为 情绪 是 包括 时 > 
间 变化 和 不 能 被 线性 模拟 的 复杂 er 
现象 ， 而 非 线 性 动态 系统 分 析 具 
有 描述 和 模拟 复杂 现象 的 能 | <— Rey | OIA 
提出 我 们 或 许可 以 考虑 如 下 所 示 
的 范 得 波 尔 (Vor der Pol) 方程 来 图 3-13 ”情绪 的 方 锥 空间 模型 
解决 情绪 结构 的 描述 . 


& d 
CIA-e) ere 
dt? dt 


at, A 为 阻尼 系数 。 
3.4 ”人 工 情感 的 数学 模型 


对 情感 进行 度量 的 思想 吸引 着 心理 学 、 认 知 科学 和 信息 科学 等 很 多 学 科 的 研究 人 员 。 不 
同学 科 的 研究 者 从 不 同 的 角度 试图 模拟 情绪 的 产生 和 变化 ， 虽 然 由 于 情绪 的 复杂 性 以 及 人 类 
对 本 身 情感 变化 规律 的 研究 尚 不 完善 ， 使 得 这 项 工作 显得 十 分 艰巨 ， 但 对 于 情感 量度 的 不 断 
探索 已 经 使 得 这 项 工作 出 现 了 进展 ， 加 深 了 各 学 科 对 情绪 的 认识 。 目 前 已 经 有 很 多 关于 情绪 
的 模型 出 现 ， 当 然 不 能 用 过 多 挑 吻 的 眼光 来 询问 这 些 模型 是 否 完美 地 实现 了 对 人 或 动物 情绪 
的 定量 描述 和 分 析 ， 但 至 少 有 些 模型 从 功能 的 角度 实现 了 有 限 的 模仿 ， 并 且 模 仿 的 范围 也 在 
不 断 扩 大 。 或 者 可 以 说 ， 至 少 在 目前 从 工程 的 角度 ， 并 不 幻想 来 完整 实现 对 情绪 变换 的 分 析 
度量 。 人 工 心理 需要 的 只 是 完成 一 些 任 务 、 一 些 功 能 。 而 使 机 器 自发 产生 类 似 于 人 或 动物 的 
情绪 还 很 遥远 ， 但 使 机 融 显 得 像 有 情绪 或 者 有 限 地 模仿 情绪 的 其 他 一 些 有 益 的 方面 是 一 些 研 
究 者 正在 进行 的 ， 也 是 富有 意义 的 ， 并 出 现 了 很 多 的 成 果 。 


3.4.1 国际 人 工 情感 计算 模型 


目前 有 很 多 从 各 个 角度 出 现 的 对 情感 模型 的 探索 人 研究， 下 面 介 绍 一 些 已 有 的 人 工 情感 计 
算 模型 。 

1. OCC (A. Ortony, G. Clore, A. Collins) 情绪 模型 

1988 年 ,Ortony „Clore 和 Collins 在 所 出 版 的 《情感 的 认 知 结构 》 一 书 中 ,就 给 出 了 一 个 著名 的 
“OCC” 认 知 鉴定 的 情绪 模型 。OCC 模型 是 早期 对 于 人 类 情绪 研究 提出 最 完整 情绪 模型 之 一 。 















































89 





OCC 情绪 模型 中 ， 将 情绪 依 其 起 因 区 分 为 三 大 类 : 事件 的 结果 、 智 能 体 的 动作 和 对 于 
对 象 的 观感 。 模 型 共 定义 了 22 种 基本 情绪 ， 并 定义 了 情绪 的 阶层 关系 。 详 细 的 分 类 与 阶层 
关系 如 图 3-14 HR, Ortony 等 认为 : 对 于 有 情感 的 机 带 而 言 ， 他 们 的 模型 也 许 并 不 重要 ， 
但 要 使 计算 机 可 以 推断 情感 ， 尤 其 在 理解 自然 语言 、 协 同 解决 问题 和 进行 规划 方面 ， 那 么 只 
有 具备 了 某 些 结构 才能 涉及 情感 的 概念 。 
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图 3-14 OCC 情绪 模型 








OCC 模型 采用 的 不 是 基本 情感 集 或 一 个 明确 的 多 维 空间 来 表达 情感 ， 而 是 用 一 致 性 的 
认 知 导出 条 件 来 表述 情感 。 特 别 是 ， 在 该 模型 中 ， 假 定 情感 是 对 事件 (高 兴 与 否 )、 智 能 体 
(满意 与 否 ) 和 对 象 (喜欢 与 否 ) 构成 情势 的 倾向 (正面 或 负面 的 ) 反应 。 通 过 不 同 认 知 
条 件 推 导 归 纳 ， 大 约 规范 出 22 种 情感 类 型 ， 其 中 包括 用 来 产生 这 些 情 感 类 型 的 基本 构造 规 
则 。 应 该 说 ，0CC 是 第 一 个 易于 计算 化 实现 的 认 知 型 情感 产生 模型 。 

OCC 模型 中 ， 首 先 设置 一 些 函 数 ， 例 如 D(p,，e，, O 表示 人 物 p 在 1 时 刻 对 事件 e 设 定 
的 期 望 值 : 正 值 表示 期 待 的 事件 具有 有 利 的 结果 ， 负 值 表示 不 利 的 结果 。J，。(p,e, t) 代 
表 全 局 强度 变量 (例如 期 等、 现实 、 接 近 度 ) 的 一 种 组 合 。 现 在 如 果 设 P，(p，e，1) 表示 
一 种 “欢乐 ”的 潜力 ， 那 么 产生 “欢乐 ”的 规则 为 如 果 D (p, e, t) >0， 那 么 设 

P,(p,e,t) =f(D(p,e,t) ,Ts(p,e,t) ) 
RP, f (+) 是 将 欢乐 具体 化 的 函数 。 类 似 的 规则 可 以 用 来 计算 其 他 情感 。 例 如 ， 可 设 
“悲痛 ”的 潜力 函数 为 P，(… ) ， 然 后 将 上 述 规则 中 的 测试 条 件 改 为 小 于 0 ( 负 期 望 值 )， 并 
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用 广 代 替 广 来 进行 计算 。 
当然 ， 上 述 规则 并 不 会 引起 欢乐 的 状态 或 者 一 种 欢乐 的 情感 体验 ， 但 可 用 来 构建 触发 快 
乐 强度 7 的 规则 ， 即 可 有 如 果 己 (p,e,D) >T(P,D) ,那么 设 
I(p,e,t) =P,(p,e,t) -T,(p,t) 
否则 设 
I(p,e,t) =0 
p, T J BME PRR. 

从 而 通过 这 一 规则 来 激活 快乐 情感 ， 当 超过 设 定 的 快乐 国 值 时 ， 就 产生 “快乐 ”情感 。 
结果 强度 值 对 应 于 欢乐 集合 中 的 一 种 情感 ， 例 如 适中 的 值 对 应 “愉悦 ”， 特 别 高 的 值 对 应 
<E o MIAE OCC 模型 里 ， 也 可 以 构造 其 他 情感 类 型 的 相应 规则 ， 只 是 要 比 欢 乐 和 
痛苦 的 规则 更 为 复杂 。 

OCC 模型 将 情感 作为 情势 一 一 包括 事件 、 对 象 和 智能 体 一 一 的 结果 来 生成 。 因 此 处 于 
某 种 情感 状态 就 是 自我 的 一 种 情势 ， 这 样 模型 也 就 允许 一 种 情感 触发 另 一 种 情感 ， 或 触发 同 
一 种 情感 。 这 无 疑 极 大 地 提高 了 OCC 模型 的 情感 生成 能 力 ， 不 仅 能 推断 和 产生 认 知 型 情感 ， 
而 且 还 可 以 触发 对 其 他 情感 的 主观 体验 。 

2. CogAff 模型 

英国 伯明翰 大 学 的 A. Sloman 提出 情感 三 层 体系 结构 。Sloman 推测 成 人 大 脑 中 至 少 有 三 
层 体系 结构 : 一 个 反应 层 、 一 个 传输 层 和 一 个 自我 监控 层 ， 如 图 3-15 所 示 。 

在 Sloman 的 体系 结构 中 ， 反 应 层 探测 周围 环境 中 的 事物 ， 并 自动 执行 进程 ， 以 决定 如 
何 反应 。 PRETE — a 作出 决定 以 及 分 配 资 源 。 在 传输 层 也 包括 对 成 功 
或 失败 进行 认 知 评价 、 情 感 ， 并 具有 将 可 靠 的 学 习 结 果 传 给 反应 层 的 能 力 。 第 三 层 的 自 
我 监控 主要 进行 后 期 管理 ， 并 可 以 寻找 有 效 的 途径 来 提供 传输 层 操作 、 
选择 策略 及 分 配 其 资源 。Sloman 指出 与 这 一 层 相关 联 的 情感 包括 羞 耻 、 闫 辱 和 莫 痛 等 。 

为 了 适应 处 理 过 程 发 生 快 速 变化 的 情况 ， 模 型 又 增加 了 一 个 警觉 系统 ， 和 警觉 系统 可 以 从 
各 层 获得 输入 ， 并 且 能 向 各 层 输出 。CogAff 模型 对 于 人 工 智 角 研究 和 使 用 情 铺 的 主要 页 南 
是 ,引发 出 专门 的 情感 反应 要 依据 情感 处 理 过 程 中 动机 的 发 生 。 这 意味 着 同样 的 情形 可 以 触 
发 不 同 的 情感 反应 ， 如 图 3-16 所 示 。 

感知 主要 步骤 行动 感知 主要 步骤 行动 


pier 

(最 新 的 ) 
协商 过 程 
| 


反应 机 制 
(最 旧 的 ) 


图 3-15 ”CogAff 模型 图 3-16 有 警觉 系统 的 CogA 任 模型 
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基于 CogAff HAI, Sloman 又 发 展 了 一 个 H-CogAff 模型 ， 如 图 3-17 所 示 。 该 模型 力图 覆 


盖 正 常 成 人 信息 处 理 过 程 的 主要 特征 ， 但 
作者 也 承 兴 这 个 体系 结构 还 亿 实 现 的 组 


思考 ) 
局 局 





节 。 

3. Salt&Pepper 模型 

里 斯 本 大 学 的 Botelho 提出 了 一 个 
Salt&Pepper 模型 来 反映 自治 智能 体 的 人 
TH ( 见 图 3-18), Salt&Pepper 模型 有 
三 个 主要 层次 : 认 知 和 行为 发 生 器 、 情 感 
发 生 需 以 及 中 断 管 理 咒 。 还 有 ， 人 情感 引 擎 
包括 情感 传感器 、 情 感 发 生 器 和 情感 监控 
ANo 

在 情感 信息 处 理 中 ,情感 引擎 首先 通 
过 情感 发 生 器 对 智能 体 的 全 局 状态 进行 估 

















Jl 











价 ， 把 情感 信息 分 类 为 情感 标记 、 对 象 的 疼 3-17 下 CogA 企 模型 
评价 、 紧 急性 评价 ， 然 后 把 每 个 情感 信息 以 节点 的 形式 存储 在 长 期 记忆 单元 ， 节 点 之 间 可 以 


互相 交互 ， 节 点 还 包含 相应 的 情感 反应 信息 。 人 情感 的 强度 与 这 些 节 点 的 活动 水 平 相关 。 产 生 
情感 反应 ， 然 后 这 些 情感 反应 使 智能 体 全 局 状态 发 生 改 变 。 

















图 3-18 ”Salt&Pepper 模型 


4. D. Canamero 模型 

布鲁塞尔 自由 大 学 的 D. Canamero 构建 了 这 样 一 个 系统 ， 在 该 系统 中 ， 人 情感 引发 了 人 造 
荷尔蒙 的 变化 ， 并 由 此 对 生理 变化 产生 情感 的 过 程 进行 了 模拟 。 

人 类 情感 包括 身心 两 个 方面 的 相互 作用 ,但 计算 机 就 不 像 我 们 一 样 拥有 身体 ， 因 此 
Canamero 试图 通过 模拟 人 类 的 生理 系统 来 虚构 “类 似 ” 的 身体 。 

Canamero 的 系统 模拟 的 是 一 个 二 元 社会 ， 居 民 分 为 “Abbott” 和 没有 情感 的 “Enemy” 
两 类 ， 其 中 一 部 分 具有 产生 与 Enemy 相处 的 行为 、 动 机 和 情感 能 力 。 每 个 Abbott 的 行为 、 
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动机 和 情感 都 有 对 应 的 生理 含义 。 特 别 是 ,动机 是 要 趋向 于 “生理 ”的 动态 平衡 。 比 如 ， 
当 一 位 Abbott 散步 时 ， 如 果 体 温 升 高 感到 太 热 时 (动机)， 就 会 想 办 法 降低 体温 。 每 个 动机 
都 有 一 个 强度 值 与 其 对 应 ， 强 度 值 最 高 的 动机 控制 行为 和 意图 。 

由 动机 强度 导致 的 行为 要 受 Abbott 情感 的 影响 。 人 情感 可 以 由 外 部 事件 触发 ， 也 能 被 内 
部 的 生理 变化 或 模式 触发 。 

Canamero 的 系统 模仿 了 情感 的 生物 化 学 处 理 过 程 ， 其 情感 模型 考虑 的 主要 是 动机 的 强 
度 。 

5. Cathexis 模型 

麻 省 理工 学 院 J. Velasquez 提出 了 一 种 名 为 Cathexis 的 情感 综合 产生 带 模 型 ( 见 图 3- 
19) 。 它 是 一 种 包含 专门 情绪 系统 的 网 络 结构 ， 他 把 这 种 专门 的 情绪 系统 称 为 专门 主体 (I 
图 3-20) 。 每 个 专门 主体 代表 的 不 是 某 种 单一 的 情感 类 型 ， 而 是 一 类 相关 的 情感 状态 ， 例 如 
慌 惧 、 痛 苦 、 惊 骇 等 。 在 每 个 专门 主体 中 ， 有 不 同 的 传 感 结构 监控 外 部 (环境 事件 ) 刺激 
以 及 内 部 (内 驱 力 水 平 、 感 觉 运动 处 理 的 反馈 行为 ) 刺激 , 来 激发 由 不 同 专 门 主体 所 代表 
的 情绪 类 型 ， 以 获得 适当 的 情感 状态 。 这 些 传 感 结构 依据 刺激 的 情况 增加 或 减少 它们 所 属 的 
专门 主体 中 的 情绪 强度 。 对 于 每 个 专门 主体 有 两 个 阔 值 : 第 一 个 阔 值 是  ， 控 制 着 情绪 的 激 
发 ， 一 旦 情绪 超过 这 个 阔 值 ， 这 个 情绪 专门 主体 会 发 出 信号 传 给 其 他 的 专门 主体 ， 并 且 传 给 
行为 系统 ， 行为 系统 会 根据 这 上 情结 系统 的 状态 来 选择 适当 的 行为 ;第 二 个 国 值 是 w， 控 制 
着 情绪 专门 主体 的 饱和 水 平 。 每 个 专门 主体 中 还 设 有 一 个 衰减 函数 yw( ) ， 用 以 控制 情绪 状 
态 的 持续 时 间 。 其 中 ， 四 个 情感 发 生 器 分 别 是 : 中 神经 中 枢 情 感 发 生 器 ， 用 以 模仿 神经 递 质 
等 化 学 物质 引发 的 情感 影响 ， 外 动机 情感 发 生 器 ， 用 以 模拟 由 痛 否 激发 产生 动力 之 类 的 情感 
影响 及 情感 的 互相 激发 ; @@ 感 觉 运动 情感 发 生 器 ， 用 以 模拟 姿势 、 面 部 表情 等 行为 引发 的 情 
感 影响 ;，@ 认 知情 感 发 生 器 ， 用 以 模拟 大 脑 皮 层 推理 的 情感 影响 。 















































影响 专门 主体 
强度 的 刺激 




















图 3-19 Cathexis 模型 体系 图 3-20 情绪 专门 主体 


Cathexis 系统 由 专门 主体 构成 ， 类 似 于 智能 社会 中 的 智能 体 。 每 个 专门 主体 代表 一 种 基 
本 情感 类 型 ， 可 以 对 输出 行为 施加 影响 。 与 对 每 种 情感 都 有 不 同 规则 的 OCC Ca- 
thexis 模型 只 有 一 条 更 新 规则 。 在 1 时刻， 按 如 下 规则 更 新 每 个 专门 主体 p(p = 1， 

P) 的 情感 强度 1,(t) ， 即 新 的 强度 是 其 衰减 前 值 、 发 生 器 和 其 他 情感 强度 影响 的 一 个 函数 : 
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LO) =U 1) + Ze, + È on Bon) a(t) ) (3-1) 

st, e, (L=1, 2, 3, 4) 分 别 为 四 个 发 生 器 赋予 专门 主体 的 对 应 值 ，a, ,为 专门 主体 m 
作用 于 专门 主体 p 的 兴奋 效益 ; B, ,为 专门 主体 m 作用 于 专门 主体 的 抑制 性 效益 ; /为 控 
制 情感 强度 随时 间 衰减 的 函数 ; g 为 保证 情感 强度 在 零 与 饱和 值 之 间 取 值 的 约束 函数 。 每 个 
专门 主体 都 有 一 个 饱和 效 值 ， 当 情感 强度 超过 了 这 个 阔 值 时 ， 就 不 再 增加 。 这 是 为 了 保证 模 
型 的 非 线性 行为 。 

6. EM 模型 

简 萄 牙 的 Custodio 等 人 提出 的 基于 情感 模型 (Emotion Model, EM) 是 一 种 可 用 于 智能 
控制 的 模型 ， 如 图 3-21 所 示 。 

EM 模型 由 认 知 层 和 感知 层 认 知 层 
组 成 。 外 界 环 境 对 系统 的 刺激 同 EZA 
时 在 这 两 层 的 处 理 器 中 并 行 处 Sn i 
理 。 前 者 抽取 以 模式 匹配 为 目标 
的 认 知 图 像 (IC) ， 该 图 像 包含 maw [mee 下 | 
能 恢复 原始 图 像 的 足够 丰富 的 信 > 
息 ; 后 者 则 抽取 输入 图 像 的 基本 
特征 ， 产生 简化 的 感知 图 像 
(IP)。 此 外 ， 在 感知 层 中 还 要 建 
立 一 个 愿望 向 量 DV, 该 向 量 的 
每 一 个 分 量 对 应 一 个 基本 刺激 的 图 3-21 EM 模型 
评价 ， 例 如 “好 ”、“ 坏 ”等 及 相应 的 对 策 (反应 )。 在 全 与 DV 之 间 有 一 个 直接 的 映射 。 
在 系统 的 主 存储 器 中 存放 有 过 去 经 历 过 事件 所 对 应 的 认 知 图 像 、 感 知 图 像 和 DV。 认 知 处 理 
器 在 从 外 界 刺激 获得 认 知 图 像 后 ， 就 会 在 主 存储 器 中 寻找 匹配 ， 而 在 其 工作 存储 器 ( 内存) 
中 ， 则 存放 当前 输入 的 认 知 图 像 、DV、 感 知 图 像 以 及 匹配 过 程 的 结果 。 系 统 对 输入 刺激 的 
反应 〈 采 取 的 行动 ) 主要 来 自 DV， 但 在 必要 时 也 可 以 来 自 认 知 处 理 器 。 系 统 所 采取 的 行动 
会 使 环境 发 生变 化 ， 使 系统 感受 到 新 的 刺激 ， OCVID O(VID) 
这 种 反馈 刺激 使 系统 知道 其 行为 的 效果 ， 同 
时 也 使 系统 能 在 不 同 的 层次 上 进行 学 习 ， 在 感 
知 层 更 新 感知 映射 ， 而 在 认 知 层 则 对 认 知 图 像 
进行 DV 标记 。 可 以 看 出 ， 这 一 模型 的 感知 层 
如 果 将 其 与 认 知 层 的 联系 短路 ， 就 是 前 述 基于 
行为 的 系统 。 由 于 感知 层 与 认 知 层 之 间 的 相互 
作用 ，EM 能 完成 更 复杂 的 任务 ， 并 进一步 与 
基于 理智 GEESE) 的 上 层 系 统 接口 。 

7. 隐 马 尔 可 夫 模 型 (HMM) 

这 是 Picard 于 1995 年 提出 的 一 个 HMM 
( 见 图 3-22 ) 。 这 个 模型 有 三 个 情绪 状态 ， 但 
它 可 以 扩充 为 多 个 。Picard 认为 ， 一 个 人 的 情 Se? TMM 
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绪 状态 〈 即 快乐 、 兴 趣 和 悲伤 ) 不 能 被 直接 观察 ， 但 某 一 状态 的 特征 能 够 被 观测 得 到 (如 
声音 的 波动 特征 ) ， 通 过 特征 来 找 出 可 能 的 情感 状态 。 

也 可 以 用 整个 HMM 结构 图 描述 状态 ， 进 而 来 识别 更 大 规模 的 情感 行为 。 后 者 需要 一 系 
列 的 HMM 结构 图 ， 每 个 HMM 结构 图 对 应 一 种 情感 行为 ， 或 对 应 每 个 人 对 给 定 行为 的 不 同 
情感 反应 特征 。 

用 整个 HMM 状态 图 来 表现 一 种 情感 ， 模 型 能 抓 住 情感 的 动态 的 一 面 。HMM 适合 表现 
由 几 种 情感 组 成 的 混合 情感 ， 就 像 优 郁 就 可 以 由 爱 和 悲伤 组 成 ; 还 适合 表现 由 几 种 纯 的 情感 
状态 基于 时 间 的 不 断交 蔡 出 现 而 组 成 的 混合 情感 ,“ 爱 恨 交 加 ”的 HMM 状态 图 就 可 能 是 在 
爱 和 恨 两 种 之 间 的 循环 ， 可 能 还 时 不 时 在 中 性 状态 上 停顿 。 

8. Kismet 模型 

Kismet 是 麻 省 理工 学 院 C. Breazeal 设计 的 一 个 机 器 人 ，Kismet 的 组 成 主要 有 感知 系统 、 
行为 系统 、 注 意 系统 、 动 机 系统 和 运动 系统 ， 如 图 3-23 所 示 。 




































































图 3-23 Kismet 模型 
a) Kismet 外 形 b) Kismet 部 件 结构 c) Kismet 体系 结构 


感知 系统 把 传 感 右 得 到 的 原始 数据 进行 转换 和 加 工 ， 用 来 指导 行为 的 产生 。 
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动机 系统 由 情绪 和 驱 力 两 个 相关 联 的 子 系统 构成 ， 驱 力 子 系统 表现 机 器 人 的 基本 “ 需 
要 ”， 用 强度 来 量化 。 情 绪 子 系统 有 两 个 作用 : 一 个 是 可 以 产生 情绪 表达 ; 另 一 个 是 对 外 界 
输入 的 刺激 和 内 部 需要 进行 综合 判断 ， 从 而 引起 表现 行为 的 各 种 变化 来 调整 与 环境 之 间 的 交 
流 。 

注意 系统 用 来 挑选 出 外 界 环 境 中 对 机 器 人 感 兴趣 的 事物 ， 以 引导 机 器 人 的 注意 和 使 机 器 
人 的 视线 朝向 他 们 。 

行为 系统 用 来 使 机 器 人 的 行为 组 织 成 连贯 的 动作 。 

运动 系统 用 来 实际 输出 机 恬 人 的 运动 和 表现 。 它 由 四 个 子 系统 组 成 : 运动 技巧 系统 、 面 
部 表情 系统 、 发 音 系统 和 视觉 运动 系统 。 

Kismet 的 情感 模型 是 作为 环境 、 内 部 刺激 和 行为 动作 的 媒介 ， 通 过 这 个 模型 ， 机 器 人 对 
外 界 输入 的 刺激 和 内 部 需要 进行 综合 判断 ， 从 而 引起 表现 行为 的 各 种 变化 。Kismet 的 情绪 反 
应 由 下 面 几 个 部 分 组 成 : 一 个 突然 的 事件 〈 情 绪 的 刺激 ) ， 事 件 的 情感 估价 (情绪 的 评价 ) , 
特有 的 表达 (情绪 的 激活 ) ， 激 发 一 个 行为 反应 的 动作 趋向 (情绪 的 表达 )。 

情绪 的 刺激 ，Kismet 的 情绪 系统 被 外 部 事件 激发 ， 激 发 事件 包括 视觉 和 听觉 刺激 。 机 妖 
人 的 当前 情感 状态 影响 外 界 刺激 的 激发 程度 。 

情绪 的 评价 : 这 部 分 是 用 来 对 一 个 给 定 的 刺激 使 用 三 种 情感 特征 [唤醒 (Arousal) 、 效 
价 (Valence), ZÆ (Stance) ] 进行 标记 。 

情绪 的 激活 : Kismet 处 理 的 情绪 状态 有 快乐 、 生 气 、 厌 恶 、 慌 惧 、 悲 伤 、 惊 奇 、 兴 趣 、 
厌烦 八 种 基本 情绪 以 及 平静 。 

每 个 情绪 的 激活 水 平 用 下 面 公式 描述 ; 

Aemotion = Eemotion + Bemotion + Pemotion — ô, (3-2) 
式 中 ，Eemotion 代表 激活 能 量 ; Bemotion ARSO FMEA KY in E; Pemotion 表示 激活 
情绪 的 持续 水 平 ; 5, 表示 情绪 转移 的 延迟 时 间 。 

情绪 的 表达 : 情绪 的 表达 采用 一 个 三 维 空间 (ULI 3-24) 。 三 个 维度 对 应 的 是 唤醒 、 效 
































开放 式 站 次 
aL ' 











生气 封闭 式 站 姿 


图 3-24 Kismet 的 情感 空间 
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价 和 姿态 。 机 器 人 当前 的 情感 状态 是 空间 中 的 一 个 点 ， 当 它 的 情感 状态 改变 时 ， 这 个 点 在 这 
个 三 维 空间 内 和 运动。 空间 中 每 个 点 均 代 表 一 种 情感 状态 ， 整 个 空间 被 分 成 以 若干 个 点 为 中 心 
的 几 个 区 域 ， 每 个 区 域 代表 特定 的 一 种 情感 状态 。 某 时 刻 的 情感 状态 是 综合 考虑 Kismet 的 
感知 系统 、 动 机 系统 和 行为 系统 的 作用 而 得 到 的 。 距 离 该 情感 点 最 近 的 区 域 将 被 激活 ，Kis- 
met 根据 该 区 域 代表 的 情感 状态 产生 相应 的 面部 表情 ， 表 情 的 强度 和 该 情感 状态 点 与 被 激活 
区 域 中 心 的 距离 成 正比 。 

9. 机 器 人 WE-3RV 和 WE-4R 的 情感 模型 

日 本 早稻 田 大 学 开发 的 WEAR 情感 机 器 人 由 视觉 、 听 觉 、 触 觉 和 嗅觉 传感器 来 感知 外 
界 刺激 信号 。 依 据 大 脑 模 型 的 三 层 结 构 一 一 反射 、 情 绪 和 智力 来 建造 WE-4R 的 智力 模型 ， 
如 图 3-25 所 示 。 男 外 ， 把 情绪 区 分 为 “学 习 系 统 ”、“ 心 境 ” 和 “动态 响应 ”。WE-4R 可 根 
据 外 部 和 内 部 的 刺激 相应 地 改变 它 的 情绪 状态 ， 并 且 可 通过 面部 表情 、 面 部 颜色 和 身体 姿态 
来 表达 情绪 。WE-4R 可 表达 9 种 表情 ， 并 且 每 种 表情 的 强度 按照 与 中 性 表情 的 差别 又 分 为 
50 个 等 级 。WE-4R 的 情感 空间 (SL 3-26) 由 激活 、 愉 悦 和 确定 三 维 构成 ， 空 间 中 用 情绪 
向 量 和 心境 向 量 来 表达 情感 。 其 中 ， 心 境 向 量 位 于 激活 和 愉悦 的 二 维 空间 中 。 为 了 描述 心境 
向 量 的 激活 成 分 ， 采 用 一 个 由 一 种 神经 网 构成 的 内 部 钟 来 表述 。 此 外 ，WE-4R 还 引入 了 个 
性 的 概念 ， 它 包括 感知 个 性 和 表达 个 性 。 其 中 ， 感 知 个 性 决定 刺激 如 何 影响 机 器 人 情感 状 
AS; 表达 个 性 则 影响 机 器 人 表情 和 有 颈 部 运动 。 


确定 
时 间 范 围 人 情绪 向 量 唤醒 
人 















































长 时 
一 般 心境 
短 时 情感 的 动态 响应 
睡眠 | 不 确定 
图 3-25 WEAR 的 智力 模型 图 3-26 WEAR 的 情感 空间 


3.4.2 ”人工 心理 的 情感 形式 化 方法 


人 工 心理 的 情感 形式 化 方法 在 于 把 人 类 的 情绪 模型 化 和 形式 化 ， 以 便于 在 计算 机 人 工 系 
统 中 来 模拟 人 类 情感 。 

1. 基于 欧 氏 空间 的 人 工 情感 数学 模型 

在 科学 研究 中 的 一 个 常用 研究 途径 就 是 ， 先 把 问题 理想 化 和 简单 化 ， 以 试图 寻求 一 些 有 
意义 的 结论 。 为 了 去 构造 一 个 尽管 与 人 类 不 尽 相 同 但 又 合乎 情理 的 情感 表现 ， 本 模型 针对 计 
算 机 如 何 进行 情感 计算 ， 提 出 一 种 情感 空间 的 概率 模型 ， 并 对 其 进行 了 计算 机 仿真 。 首 先 建 
立 一 个 简单 的 情感 空间 模型 ， 提 出 情感 箭 的 概念 ， 并 根据 情感 箭 来 构造 具有 个 性 特点 的 且 无 
外 界 影响 的 情感 行为 的 概率 转移 矩阵 ， 根 据 这 样 的 概率 矩阵 来 模拟 一 个 无 外 界 刺激 的 情感 行 
为 ， 即 模拟 一 个 封闭 系统 下 的 自由 运动 的 情感 模型 。 

(1) 情感 空间 在 构造 情感 空间 之 前 的 一 个 首要 问题 就 是 ， 人 的 两 种 或 两 种 以 上 具有 
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矛盾 的 情感 能 否 同时 发 生 ? 关于 这 样 的 问题 ， 心 理学 界 仍 在 争论 之 中 。 而 本 模型 则 把 这 样 的 
情感 状态 仍然 考虑 在 所 构造 的 情感 空间 中 ， 但 是 其 出 现 的 概率 将 是 足够 小 的 。 








这 里 从 比较 简单 的 三 种 情感 : 生气 、 害 怕 和 人 负 ( 喜 悦 ) 
高 兴 来 构造 一 个 情感 空间 ， 如 图 3-27 所 示 。 为 进 (0,0,D) OLD 
2) 


一 步 简 化 问题 ， 我 们 规定 ， 人 情感 状态 的 每 一 个 维 
仅 取 0、0.5、1 三 个 数值 。 比 如 ， 就 如 ′ 惧 而 言 ， 
WW LAAN RHR (0), AER (0.5) MER 
(1) 三 个 状态 。 于 是 在 这 样 的 三 维 情感 空间 里 就 
具有 27 个 情感 状态 。 

那么 很 有 意思 的 一 点 就 是 原点 (0, 0, 0), 
这 一 点 不 仅仅 代表 为 平静 ,而且 还 代表 其 他 未 知 
的 情感 状态 。 但 在 本 模型 中 ， 仅 考虑 原点 为 平静 





























状态 的 情况 。 ‘fh MEL) 
于 是 情感 的 活动 就 成 为 在 这 个 情感 空间 的 各 
状态 的 转移 过 程 。 自 然 这 是 一 个 马尔 可 夫 的 过 程 。 A a 
如 果 更 为 一 般 的 考虑 ， 认 为 情感 具有 m 种 ， 其 中 每 种 情感 可 以 划分 为 n 个 级 别 ， 于 是 这 样 


构成 的 情感 空间 就 具有 n 个 情感 状态 。 令 1=n"， 于 是 得 到 1 维 的 马尔 可 夫 的 概率 矩阵 如 
F: 


Bin E E T 
Ppa pa Py as 
Sie, in te de 
式 中 ，p; 为 第 i 个 情感 状态 A A ee 
Dail (i e [1,2,3--,2]) (3-4) 


至 此 ; 就 构建 了 情感 变化 的 概率 性 模型 。j 这 样 的 情感 空间 把 每 个 情感 都 细 分 为 不 同 的 强 
度 ， 并 且 情 感 状态 空间 位 置 间 的 距离 远近 影响 到 转移 的 概率 大 小 。 
(2) ERA “对 于 这 样 的 情感 空间 及 其 概率 的 转移 和 矩阵， 该 如 何 构造 具体 每 个 概率 值 ， 
并 能 整体 评判 与 度量 所 构造 的 情感 的 表现 呢 ? I, A MRE ee TO 
对 式 (3-5) 中 表达 的 具有 1 个 节点 的 m 维 情 感 空间 ， 设 某 一 时 刻 处 于 第 i 个 状态 ， 那 
么 它 到 其 他 状态 的 概率 就 构成 了 一 个 情感 变化 的 概率 向 量 : 
el = (Pin Piro Pie Pit) 








1 = 7 
Dige] (i e (1,2,++-0)) (3-5) 

FERREL 
4, =- CY plow, (3-6) 


APF, A, NEB i BRAS ATR; pp AB i 种 情感 状态 到 第 j 种 情感 状态 的 概率 ，C 为 与 对 
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数 底 及 单位 选择 有 关 的 常数 。 

这 里 我 们 规定 ， 在 情感 粹 的 计算 过 程 中 ， 对 数 的 底 是 自然 数 ， 此 时 C 值 规定 为 1。 在 以 
后 的 讨论 中 ， 将 遵循 这 样 的 约定 。 

情感 粹 表征 了 在 某 一 时 刻 的 情感 变化 的 不 确定 程度 ， 就 是 说 当 情 感 炉 的 值 大 时 ， 意 味 着 
情感 变化 快 ， 表 现 为 一 种 性 格 的 多 变性 ;而 情感 粹 的 值 小 时 ， 意 味 着 情感 底 化 缓慢 。 这 也 同 
时 刻画 了 个 体 的 特性 。 
通过 建立 情感 空间 ， 能 够 得 到 情感 的 各 个 状态 的 概率 分 布 ， 从 而 可 以 计算 出 
值 。 利 用 情感 箭 可 以 对 所 得 出 的 情感 的 概率 分 布 进行 评价 。 可 以 说 ， 情 感 峭 是 描述 4 
观 变 化 与 宏观 表现 的 桥梁 。 

(3) 情感 概率 转移 和 矩阵 的 构造 ”从 对 现实 生活 的 观察 ， 可 以 总 结 出 以 下 几 点 概率 分 布 
方面 的 约束 : 

1) 某 一 时 刻 情感 空间 里 的 某 一 情感 状态 ， 在 下 一 时 刻 仍然 处 于 本 状态 的 概率 是 最 大 
的 。 到 其 他 情感 状态 的 概率 随 距 离 的 远离 而 单调 下 降 。 

2) 在 没有 外 界 干扰 的 情况 下 ， 原 点 附近 应 是 情感 状态 的 平稳 点 。 这 就 是 说 总 的 趋势 是 
情感 逐渐 向 原点 (平静 点 ) 过 渡 。 

3) 具有 相互 矛盾 的 情感 状态 出 现 的 概率 最 小 。 如 既 高 兴 又 愤怒 状态 出 现 的 概率 是 很 小 
的 。 

另外 ， 为 了 构造 一 个 表现 丰富 的 情感 ， 各 状态 的 转移 概率 在 满足 上 述 条 件 下 ， 应 该 使 其 
情感 炉 尽 可 能 为 最 大 。 这 类 问题 ， 就 可 以 抽象 为 如 下 数学 命题 . 

有 一 正 数 轴 上 的 一 个 闭 区 间 L: [1，m] ， 某 一 事件 落 在 此 区 间 的 概率 为 1， 落 在 此 区 间 
上 某 一 正 整 数 i 上 的 概率 为 p,, ie (1, 2, =, m), ， 并 有 dP. sA ATT», > 0 。 现 将 
此 区 间 完 全 划分 为 n 个 非 空 子 区 间 , ne (1,，2,…,，m)， 记 1 为 第 个 子 区 间 , ke (1, 
2，…，n)， 则 有 V C, b, =, L) #Ø, L =Ù li。 仿 a 为 第 i 个 子 区 间 内 包含 的 整数 
DŽ, ae (1, 2, =, m)o Wp (ie (1, 2, =, n), je (1，2，…，w)) 为 事件 
落 在 子 区 间 1;, 上 第 7 个 非 负 整数 点 的 概率 。 存 在 两 个 m -1 项 小 于 1 WER r k, (0 
<r,<1, O<k, <1, i=1, 2, =, n-1), 

已 知 : m, n, a, r;,， 并 具有 如 下 约束 条 件 : 

KOM (piispizs' Pira) ) SUN Diy Pigg Pisna) (=12 eal) (3-7) 
从 式 (3-7) 中 可 以 看 出 ,约束 条 件 已 经 包含 在 原点 到 其 他 节点 距离 之 内 了 。 
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r È Pin >= È Pinis (i T 1,2,---,n = 1) (3-8) 
R: 各 满足 如 下 最 大 值 条 件 下 的 概率 数列 p,，p,，…，p，: 
> pilnp, = MAX (3-9) 


建立 这 个 数学 命题 ， 目 的 在 于 对 情感 状态 的 变化 进行 数学 描述 、 对 情感 的 统计 性 规律 进 
行 表达 。 通 过 求解 这 样 的 命题 ， 可 以 得 到 概率 转移 矩阵 中 的 各 个 元 素 的 具体 数值 ， 这 样 就 构 
造 出 了 具体 的 情感 模型 。 

对 于 这 样 的 命题 ， 直 接 求 解 是 困难 的 。 用 数值 的 方法 并 进行 简化 处 理 ， 可 以 寻找 到 其 近 
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似 解 。 在 得 到 情感 空间 的 概率 转移 矩阵 后 ， 就 可 以 模拟 一 个 动态 的 情感 变化 的 过 程 。 首 先 需 
要 设 定 一 个 初始 的 状态 ， 即 要 设 定 在 初始 时 刻 ， 情 感 处 于 哪个 节点 上 。 那 么 要 判定 下 一 时 刻 
情感 将 到 达 什 么 状态 呢 ， 这 是 具有 概率 性 的 行为 。 由 于 从 一 个 节点 到 所 有 节点 的 概率 和 为 
1， 那 么 就 可 以 认为 ， 每 个 节点 的 概率 值 就 是 一 个 区 间 的 长 度 ， 所 有 的 区 间 的 长 度 的 和 就 是 
1。 

















当 按 均匀 概率 分 布 产生 一 个 0 到 1 的 随机 数 ， 这 个 数 会 落 到 某 个 区 间 内 ， 于 是 就 选中 这 
个 区 间 所 代表 的 节点 。 在 下 一 时 刻 ， 人 情感 就 转移 到 这 个 节点 上 。 

(4) 仿真 及 其 分 析 通过 仿真 试图 找到 一 种 方法 ， 实 现 一 个 可 理解 的 情感 变化 过 程 。 
也 就 是 说 ， 在 没有 外 界 干扰 的 情况 下 : 情感 状态 是 趋 于 平静 的 ; 然而 情感 是 不 可 能 绝对 平静 
的 ， 情 感 状态 是 有 一 定 波 动 的 ;情感 的 未 来 状态 是 不 确定 的 ， 但 是 又 可 以 被 “大 概 ” 猜 测 
到 的 。 因 此 对 所 构造 出 的 情感 模型 去 仿真 模拟 ， 来 观察 与 上 述 的 特点 的 相似 程度 。 

下 面 根据 不 同 参数 的 设 定 , 进行 模拟 一 个 没有 外 界 刺激 的 情况 下 的 、 情 感 的 变化 过 程 。 
















































































为 了 具有 典型 意义 ， 初 始 时 刻 的 情感 ”swiooF 
状态 都 选 在 离 原 点 最 远 的 节点 。 J Sot 
设 定 维 数 为 3、 刻 度数 为 5、 人 敏感 O S00 So 200350 
因子 为 0.6、 初 始 状态 处 于 第 125 个 节 DON, 
一 共 进 行 200 步 的 位 结果 i \nn 
my 一共 直行 200 FHL, Ai AS aN K 30 la AA a Li 750 
图 3-28 所 示 。 网 
设 定 维 数 为 3、 刻 度数 为 5、 敏 感 BL A Ah a 
因子 为 0. 3 、 初 始 状态 处 于 第 125 O woo 01200250 
点 ， 一 共 进 行 200 BAYH, ARM Kost A ~h 
图 3-29 所 示 。 % Cn am A 150 200 250 
从 仿真 结果 可 以 看 出 ， 在 情感 空 it 
间 中 ， 维 数 m 是 构造 情感 的 基本 出 发 


点 ， 是 情感 模型 中 所 包含 的 基本 情感 Ea 
的 数量 。 在 维 数 m 确定 的 前 提 下 ， 刻 
度数 n 代表 了 情感 细腻 程度 。 尽 管 刻度 ool 
Bn BARI, 但 是 会 带 来 庞大 维 数 的 00 20 40 60 80 100 120 140 160 180 200 
ERS. WRAT R 的 取 值 大 小 影 1 
响 了 情感 的 变化 快慢 。 也 就 是 ， 刻 度数 go 
的 提高 或 敏感 因子 的 减 小 ， 都 会 降低 情 00 30 40 Ah A ae 
感 的 变化 速度 ， 同 时 降低 了 情感 的 动荡 
程度 。 

(5) 结论 ”根据 所 构造 的 情感 概 i 
率 和 矩阵 ， 建 立 了 一 个 数学 命题 ， 其 目的 957 






































0 | Í | | | A A A | F | | 
0 20 40 60 80 100 120 140 160 180 200 

















在 于 对 情感 状态 的 变化 进行 数学 描述 、 0o0 2 有 和 60 Ma 100 P T40 160 180 200 
对 情感 的 统计 性 规律 进行 表达 ， 并 给 出 ga 
近似 求解 的 数值 算法 。 通 过 求解 这 样 的 图 3-29 情感 回落 与 波动 过 程 〈 维 数 为 3、 














命题 ， 可 以 得 到 概率 转移 年 阵 中 的 各 个 E T ane 
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元 素 的 具体 数值 ， 这 样 就 构造 出 了 具体 的 情感 模型 。 通 过 用 MATLAB 仿真 ， 可 以 直观 地 看 
到 所 模拟 的 情感 变化 过 程 。 从 中 发 现 了 在 相同 维 数 的 情感 空间 下 情感 动荡 的 程度 。 在 情感 空 
间 中 维 数 确定 的 前 提 下 ， 刻 度数 代表 了 情感 细腻 程度 。 敏 感 因子 的 取 值 大 小 ， 影 响 情感 的 变 
化 快慢 。 刻 度数 的 提高 或 敏感 因子 的 减 小 ， 都 会 降低 情感 的 变化 速度 ， 也 就 是 降低 了 情感 的 
动荡 程度 。 

但 是 本 模型 没 角 J 为 进行 讨论 、 情 感 空间 的 概率 描述 中 的 
约束 规则 还 不 是 很 完善 等 方面 , 都 有 待 进一步 研究 。 

2. 基于 马尔 ene om 

本 模型 的 目的 在 于 机 器 情感 自动 生成 的 基础 理论 研究 。 首 先 定 义 了 情感 的 两 种 状态 及 其 
a 并 应 用 马尔 可 夫 链 构造 了 一 个 情感 概率 空间 ， 建 立 模拟 情感 变化 
的 情感 模型 ， 给 出 了 情感 能 量 、 情 感 强度 和 情感 炉 等 概念 ， 用 以 描述 情感 特征 与 情感 状态 
通过 MATLAB 的 计算 仿真 ， 验 证 此 模型 可 较 好 地 模拟 情感 状态 自发 转移 、 变化 的 动态 :过 程 ， 
可 用 于 情感 机 器 人 的 情感 模拟 计算 ， 为 情感 计算 和 情感 自动 生成 理论 研究 提供 了 一 种 新 途 
径 。 


(1) THE 





























感 状态 的 概率 空间 ”根据 基本 情绪 论 ， 可 把 人 类 的 情感 状态 分 为 几 个 基本 类 型 。 


al 





设 情感 状态 空间 集合 $= {s,l i=1, 2, see ile N 表示 基本 情感 状态 数 。 用 随机 变量 处 
表示 情感 状态 。 设 bp, 为 =s，( 取 第 i 种 情感 状态 ) 的 概率 ， 且 满足 
Dp = 1 (0 <p, S1(i = 1,2,---,N)) (3-10) 


这 样 ， 情 感 状态 :的 概率 空 间 模 型 可 表示 成 


S S| s3 Ry 
三 (3-11) 
P Pi Po “Pw 
WN=3, 4X=s,. s., s 时 ， 分 别 表示 高 兴 、 慎 奴 、 慌 惧 三 种 情感 状态 。 在 三 维 坐标 


TAP, HX MER p, a Z 轴 表 示 p,, WTR BRS WT FH AB AS zs 间 中 的 点 
(x, y, 2) 来 表示 ， 且 满足 下 列 方程 : 





x+ytz=l (3-12) 
0<x1 0<y1 O0<z<l (3-13) 


由 式 (3-12) FIÈ (3-13) 可 知 ， 由 式 
(3-10) 所 确定 的 情感 状态 点 ， 始 终 在 图 3-30 
所 示 的 正三 角形 ABC 的 范围 内 (包括 边界 )， 
情感 状态 转移 也 限定 在 这 个 范围 内 ， 称 为 情 
感 状态 正三 角形 概率 空间 。 该 正三 角形 的 中 
心 可 作为 情感 的 平静 状态 ， 此 时 pi =p. =p; = 
1/3。 当 WNW =4 时 ,人 情感 状态 点 位 于 一 个 正四 
面体 内 部 和 边界 上 。 概 括 地 说 ， 情 感 状态 点 
为 由 式 (3-12) 所 确定 的 超 平面 上 的 一 个 凸 集 ， 称 为 情感 状态 超 正 三 角形 概率 空间 。 人 情感 状 
态 的 划分 如 图 3-31 所 示 。 











图 3-30 ”人 情感 状态 正三 角形 概率 空间 
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Pik=-1/3 Py =-1/3 
Ps =2/3 
P= 
ao Prk=0 
Pr=0 
Pix=2/3 Py. =2/3 








Py =—1/3 


B(P1) K yV CP) 


图 3-31 ”人 情感 状态 划分 示意 图 


(2) 情感 状态 的 变化 过 程 ” 在 没有 刺激 的 情况 下 ,情感 
时 发 生 的 过 程 是 心情 状态 自发 转移 。 此 时 用 PO = [pO pt 
状态 的 概率 分 布 ， 称 为 当前 心情 状态 概率 分 布 ,用 Po = [pO Po pl] 表示 在 时 刻 0 


状态 主要 表现 为 心情 状态 。 这 
D pO] 表示 在 时 刻 的 心情 
[ 2 

的 心情 状态 的 概率 分 布 ， 称 为 初始 心情 状态 概率 分 布 。 心 情 状 态 自发 转移 可 用 马尔 可 夫 链 的 
转移 过 程 来 描述 。 

当 情 感 机 器 在 第 n 时 刻 受 到 外 部 刺激 时 ， 将 发 生 在 刺激 的 作用 下 的 情绪 状态 刺激 转移 过 
程 ， 此 时 的 P'” 将 作为 情绪 状态 刺激 转移 过 程 的 出 发 点 ， 称 为 情绪 状态 转移 的 初始 概率 分 
a, 用 7= [m m m] 表示 ， WW ar, =p” (GET y 253) 5 

情感 状态 从 7 开始， 在 强度 为 了 的 刺激 的 作用 下 ， 按 基于 隐 马 尔 可 夫 模 型 (HMM) 而 
建立 的 情绪 状态 刺激 转移 模型 进行 转移 ， 最 后 达到 情绪 状态 P'”。 此 时 ， 应 将 根据 情绪 状态 
的 类 型 和 强度 ， 产 生 相 应 的 表情 和 情感 行为 。 之 后 情绪 状态 P'” 将 转化 为 初始 心情 状态 概率 
分 布 ， 即 p® =p” P 

HMM 可 用 A = (r, A, B) RRR, HF, A 为 情绪 状态 刺激 转移 矩阵 ， 可 表示 机 器 
的 情感 性 格 ;B 为 观察 值 矩阵 ， 可 表示 刺激 的 情况 。 

我 们 把 由 下 面 的 公式 : 





H(X) =- 2, pilogp, (3-14) 

frm LAY CX), BIER. ERRAK, RAE AE RAIRA TE EAA EAS fA ae PE a 

大 ， 表 现 某 种 情感 状态 的 倾向 性 也 越 小 ; EZ, TR), AAS BOR AS AA EA AS 

确定 性 就 越 小 ， 表 现 某 种 情感 状态 的 倾向 性 也 越 大 。 如 果 p 分 别 用 产 ”、 pO AER A 的 极 
限 概率 or” REMA, ABA CX) MOIR GER, TERRI PITRE A 
(3) 基于 马尔 可 夫 链 的 心情 状态 自发 转移 ”马尔 可 夫 链 的 基本 方程 可 表示 为 


QD) p” a; (i = 1,2,---,N) (3-15) 

















N 
P= Dp a? G =1,2,N) (3-16) 
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其 和 矩阵 形式 可 表示 为 
por) =P®A (3-17) 
p™ = pa" (3-18) 
RP, POA PO 为 前 述 的 当前 心情 状态 概率 分 布 和 初始 心情 状态 概率 分 布 ; 4 为 心情 状态 
自发 转移 矩阵 。 


4= Gy, ün 023 (N=3) (3-19) 


心情 状态 自发 转移 过 程 相对 比较 缓慢 ， 可 通过 心情 状态 转移 矩阵 4 的 参数 来 控制 ， 同 
时 心情 状态 的 日 发 转移 应 该 从 PO 开始 向 平衡 点 缓慢 转移 ， 所 以 4 的 极限 概率 分 布 可 以 表 
IRH m = [r T T, “] = [13 14 1/4), 

给 定 极限 概率 元 * ， 怎 样 确定 矩阵 4 PKA a, (i, j=1, 2, 3) 呢 ? 在 心情 状态 
自发 转移 和 情绪 状态 刺激 转移 过 程 中 ， 都 需要 解决 这 一 问题 。 然 而 ， 当 给 定 7 时， 对 应 转 
HIERA 中 的 各 个 分 量 a, (i, j=1, 2, 3) 并 不 是 惟一 的 ， 而 是 有 无 穷 多 个 ， 不 同 的 组 合 ， 
将 对 转移 过 程 产生 影响 。 那么 怎样 确定 这 些 分 量 呢 ? 下 面 给 出 一 种 方法 。 















































Zs 
rL-2 1 1 
L L L 
- 1 L-2 1 — 8 
A= bade =—>2 (3-20) 
L L L 3 
1 1 L-2 
LL L L 
其 特征 方程 
IA(A)1 = IAZ -AI =(A-1) ( Ta 
的 根 ， 即 特征 根 为 
à, =1 Ay = (3-21) 
在 入 =1 为 单 根 的 情况 下 ， 可 利用 下 面 的 公式 : 
| A*A) n 1 TAN (A) 
Ch) = 5 人 m 一 7 P — p"! Ea 
a. T; + qj T, ao (1) dij 之 (m; -1)! A | a,(A) ite 
(3-22) 
来 计算 和 矩阵 4 中 的 元 素 ， 得 到 结果 为 
2 2 /L-3y 
rere ore Ge) 
Agi = 1 /L-3 
= "== ixj 
3 3 ( 7 ) (ij) 
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Fie, T tie T iLa 
+ 二 6 => =F 
3 3 3 3 3 3 
— |1 1 1 2 1 1 
A‘ = a re ar (3-23) 
1 1 1 1 1 2 
= = 6 rog 
[3 3 3 3 3 3 
根据 式 (3-15) 经 计算 得 
1 
(k) (0) k 
P; a (v! 3 )s 
即 
Pa =Pa 外 (3-24) 
式 中 


pep” ot m 1l 
iA i 3 iA i 3 
EP, p® pO AeA i APNEA HO AMARRE, RSO, SLR 
0 可 调整 心情 状态 自发 转移 速率 。 其 仿真 曲线 如 图 3-32 所 示 。 














| | 
5, 0.20833, 0.29167] 
T 1 T | 













































































图 3-32 0=100, 心情 状 态 自 发 转移 过 程 PW -n 曲线 





(4) 情感 能 量 按照 奥地利 著名 精神 病 学 家 、 心 理学 领域 的 新 学 派 一 一 精神 分 析 学 的 
创始 人 弗 洛 伊 德 的 观点 ， 人 类 所 有 的 心理 活动 ， 不 论 是 思想 还 是 行动 ， 都 需要 能 量 。 弗 洛 伊 
德 认为 ， 有 三 种 能 量 概念 特别 适合 于 解释 人 类 行为 : BERET TE IM, ie oh AP EAE at Td AY 
差别 。 据 此 也 可 以 认为 情感 过 程 需 要 能 量 ， 把 情感 机 器 产生 各 种 情感 的 能 力 称 为 情感 能 量 ， 
用 表示， 情感 状态 的 变化 过 程 实际 上 可 看 成 是 情感 能 量 重新 分 配 的 过 程 。 设 N=3， 则 分 
配给 三 种 不 同情 感 状态 的 能 量 分 别 用 E,、E,、E, 表示 ， 其 能 量 比 例 为 


e, =E/E,(i=1,2,3) (3-25) 
平均 能 量 为 = E/N = E/3， 则 情感 强度 可 表示 为 


Es =E, -E = eE - E/3 = E(e, - 1/3) (3-26) 
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WRE WHR, HRH 1 WR, WE, =e, -1/3 =p,-1/3=py. (3-10) 中 的 概率 分 
布 实际 上 也 是 情感 能 量 的 分 配 比例 。 
(5) 情感 状态 的 分 区 ”可 根据 情感 强度 将 图 3-30 中 的 情感 状态 的 概率 空间 进行 划分 。 


Pin =0， 表 示 情 感 状态 ;处 于 中 


了 性， 以 此 为 基准 ， 当 pa >0 时 ， 则 情感 状态 i 处 于 激发 状态 ， 


也 就 是 说 ， 情 感 机 顺应 该 表现 出 该 情感 状态 ; H pig <0 时 ， 则 情感 状态 ; 处 于 抑制 状态 ， 也 


PEL, THBP AA ILA H 





向 强度 。 其 划分 情况 见 表 3-4, 





表 3-4 根据 情感 强度 对 情感 状态 空间 的 分 区 


该 情感 状态 ， 而 且 还 需要 很 大 的 外 界 刺激 才能 达到 一 定 的 正 











P34 








<0, BARE 





<0, HARE 





>0, ZHR 





<0, PRIE 





<0, HARE 





区 域 HFBK HVCE HLAW HWF HKV HEL 
情 Pia >0， 高 兴 <0， 不 易 高 兴 | <0， 不 易 高 兴 | >0， 较 高 兴 | >0， 较 高 兴 | >0， 不 易 高 兴 
感 a 7 7 7 S ne 
状 | Pa <0， 不 易 愤怒 | ”>0， 人 愤怒 “| <0， 不 易 愤怒 | >0, 不 易 愤怒 | >0, BUR | >0， 较 愤怒 
态 


<0， 较 恐惧 


(6) 结论 根据 上 面 的 讨论 ， 可 得 到 下 述 结论 : 

1) 由 式 (3-10) 知 ， 在 任意 时 刻 ， 各 情感 状态 的 概率 之 和 为 1， 或 者 说 在 任意 时 刻 ， 
分 配给 各 情感 状态 的 能 量 之 和 等 于 总 能 量 ; 

2) 由 结论 1) 可 得 出 ,在 任意 时 刻 ， 各 情感 状态 的 情感 强度 之 和 总 为 零 。 这 说 明 各 情 
感 状 态 是 互相 排斥 的 ， 一 种 状态 的 强度 增加 ， 必 然 会 使 其 他 情感 状态 的 强度 减少 ; 

3) 情感 能 量 的 变化 应 该 是 连续 的 ， 而 不 能 突变 。 可 以 假定 时 刻 的 能 量 分 配 e (7 = 1， 
2，3) 只 与 前 一 时 刻 的 能 量 分 配 "(i=1，2,，3) 相关 ， 而 与 以 前 时 刻 的 能 量 分 配 et? 
e A e (i=1, 2, 3) 无 关 。 也 可 以 说 ,时刻 的 情感 状态 的 概率 分 布 p” (i =1，2， 
3) 只 与 前 一 时 刻 的 概率 分 布 ph (C= 1, 2, 3) 相关 ， 而 与 以 前 时 刻 的 概率 分 布 六 、 
pr, Ay p, (i=1,，2,，3) 无 关 。 这 正 是 马尔 可 夫 过 程 的 无 后 效 性 ， 据 此 可 以 用 马尔 可 夫 
链 来 描述 情感 的 转移 过 程 。 

4) 在 没有 外 界 刺激 的 情况 下 ， 可 以 用 一 个 马尔 可 夫 链 来 描述 心情 状态 的 自发 转移 过 
程 ， 并 假定 总 是 向 平静 点 如 转移 ， 在 有 外 界 刺 激 的 情况 下 ， 可 以 采用 一 个 两 重 马尔 可 夫 链 ， 
即 HMM 来 描述 情绪 状态 的 刺激 转移 过 程 ， 这 里 不 做 深入 讨论 。 

综 上 所 述 ， 本 模型 所 提出 的 情感 计算 的 基本 概念 和 建 模 方法 ,经 理论 推导 和 仿真 计算 、 
验证 ， 其 符合 人 类 情感 变化 规律 ， 为 情感 自动 生成 理论 的 深入 研究 商定 了 基础 ， 也 为 建立 更 
为 理想 的 情感 计算 模型 提供 了 一 个 新 的 途径 。 

3. 基于 自 组 织 理论 的 人 工 心理 建 模 

该 模型 在 人 工 心理 理论 的 基础 上 ,根据 心理 学 上 普遍 使 用 的 基本 情绪 理论 构建 了 一 套 模 
型 。 该 模型 分 为 两 部 分 : 一 部 分 以 外 界 刺激 为 输入 ， 描 述 了 人 的 情绪 在 受到 外 界 刺激 的 情况 
下 的 转变 ， 以 及 如 何 做 出 反应 ; 另 一 部 分 则 描述 了 人 的 心理 在 无 外 界 刺激 的 情况 下 ， 如 何 向 
平静 状态 转变 的 过 程 。 该 模型 中 认为 人 的 情绪 转变 是 一 个 复杂 的 过 程 ， 单 一 的 数学 理论 是 
法 准确 地 描述 的 ， 因 此 采用 了 自 组 织 理论 、 模 糊 数学 、 最 优化 理论 中 的 模拟 退火 算法 等 多 种 
数学 理论 方法 ， 以 期 望 能 近似 准确 地 描述 人 的 整个 心理 过 程 。 

(1) 模型 构建 ”模型 分 两 部 分 构建 : 接受 外 界 刺激 部 分 和 无 外 界 刺激 部 分 。 模 型 总 体 














设计 框图 如 图 3-33 所 示 。 
1) 接受 外 界 刺 激 的 模型 ， 根 据 心理 学 理论 ， 考 虑 基本 情绪 、 内 驱 力 、 外 界 刺激 三 者 及 
三 者 之 间 的 联系 。 
首先 考虑 基本 情绪 ， 这 里 借用 自 组 织 理论 
的 _ 些 思想 。 德 国 哲 学 家 康德 认为 ， 自 组 织 的 
自然 事物 具有 这 样 一 些 特征 ， 它 的 各 个 部 分 即 
使 有 其 他 部 分 的 作用 而 存在 ， 又 是 为 了 其 他 部 
分 、 为 了 整体 而 存在 的 ;各 部 分 交互 作用 ， 征 ra 
此 产生 ， 并 由 它们 之 间 的 因果 连接 而 产生 束 EA 
1k, aAA omeen Lem a | 
的 过 程 ， 德 国 科学 家 H - 哈 肯 创立 的 协同 学 理 二 
论 在 自 组 织 方法 论 中 处 于 一 种 动力 学 方法 论 的 
地 位 ， 它 是 体系 自身 如 何 保持 自 组 织 活力 的 重 
要 方法 。 先 考虑 单独 的 一 种 基本 情绪 ， 比 如 说 
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快乐 。 情 绪 的 强度 是 情绪 最 明显 的 性 质 ， 起 着 表情 输出 
序 参量 的 作用 ， 记 情绪 的 强度 为 P(t),， P(t) 图 3-33 ”基于 自 组 织 理论 的 人 
是 按 外 界 刺 激 强度 变化 的 ， 而 外 界 刺 激 的 强度 工 心理 模型 总 体 设计 框图 


A 的 确定 又 与 当时 情绪 的 强度 有 一 定 的 正比 例 关系 ， 引 入 AP C(t) 项 ， 再 考虑 到 情绪 随时 间 
的 推移 会 趋 于 平静 ， 引 入 - BP*(1;) 项 ， 用 这 种 考虑 所 得 到 的 方程 为 
dP(t) 
dt 
AF, A20, B>0; 初 值 为 P,。 方 程 的 解 为 


= AP(t) - BP? (t) (3-27) 


A 





A -A 
B+ (<-B Je a 
P, 


X toht, P(t) 一 4/B， 即 情绪 最 终 趋 于 稳定 值 44B。4 为 外 界 刺激 参数 ; B 为 事先 
给 定 值 ， 用 来 反映 人 的 情绪 类 型 。B 值 大 时 ，4/B 值 小 ， 可 认为 此 人 情绪 不 易 激 动 ; 反之 ， 
B 值 小 时 ，4/B 值 大 ， 可 认为 此 人 情绪 易 激动 。 
由 八 种 基本 情绪 可 确定 八 个 这 样 的 方程 : 
dP,, (1) 





=A „P (t) BP)  (m=1,2,---,8) 


m= mar “mo 


现在 ,来 确定 A, 的 取 值 。 由 于 人 类 的 意识 形式 的 多 样 性 ， 即 使 是 对 同样 的 一 个 外 界 刺 
激 ， 不 同人 的 感受 也 会 有 所 不 同 。 现 在 ， 还 没有 一 种 通用 的 方法 能 准确 地 描述 不 同人 对 外 界 
刺激 的 感受 程度 。 因 此 ， 由 计算 机 来 确定 刺激 量 A, 是 不 够 准确 的 ， 其 至 有 时 会 与 实际 有 很 
大 差别 。 所 以 这 里 采用 了 由 人 来 评判 事件 对 人 的 刺激 量 A, 的 方法 ， 以 期 望 得 到 与 实际 相符 
合 的 刺激 量 Ano An 的 取 值 通过 评价 的 方法 来 得 到 。 根 据 普 拉 切 克 的 八 种 情绪 的 五 点 记分 量 
表 来 设计 评价 体系 。 评 价 的 指标 集 为 

DU = | 快乐 ， 接 受 ， 惊 奇 ， 惧 怕 ， 悲 伤 , 厌恶 ， 兴 趣 ， 人 愤怒 | 

a 
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对 于 一 个 外 界 刺激 事件 ， 随 机 抽取 100 个 人 ， 证 他 们 对 此 事件 根据 以 上 指标 集 做 出 等 级 
选择 。 结 果 比 如 说 ， 对 于 快乐 这 一 指标 ，10% 的 人 选择 等 级 “无 "，10% 的 人 选择 “ 微 ”， 
20% 的 人 选择 “中 ”，30% 的 人 选择 “ 强 ”，30% 的 人 选择 “ 极 强 ”。4, 的 值 最 终 确定 为 y 
的 数学 期 望 E(y,) =0.1x14+0.1x24+0.2x34+0.3x44+0.3x5 =3.6, 

这 样 可 得 到 4 的 向 量 

(Ay; A, A, A}, A;, Aç, A, AD 

这 样 得 到 的 4 值 与 实际 是 相符 的 。 

得 到 4 后 ， 便 可 依据 基本 情绪 方程 计算 出 基本 情绪 为 

P (P,, P,, P}, P,, Ps, Ps, Ps, Pg) 

数学 上 描述 可 认为 内 驱 力 也 是 一 个 8 维 的 向 量 6(6,, 5,, 6, 5,, 65, 55, 5,, 5g). 

在 此 模型 中 ， 内 驱 力 实际 上 是 用 来 表征 人 的 行为 意志 的 量 。 用 此 量 来 调控 情绪 ， 此 量 与 
人 的 处 事态 度 有 关 ， 对 于 做 同样 一 件 事 情 ， 个 人 的 内 驱 力 是 不 同 的 。 正 是 由 于 内 驱 力 与 事件 
的 相关 性 ， 所 以 内 驱 力 的 取 定 ,需要 由 外 界 刺激 来 决定 。 可 认为 ， 外 界 刺激 在 哪 一 个 分 量 上 
比重 大 ， 内 驱 力 在 该 分 量 上 的 值 也 就 会 相应 要 大 一 些 ,但 并 不 是 成 正比 的 关系 ， 其 中 还 夹杂 
着 个 人 的 主观 意识 。 现 在 借用 模糊 数学 中 隶属 函数 的 概念 ， 给 出 一 种 确定 内 驱 力 数值 的 方 
法 : 

将 外 界 刺激 强度 A 的 分 量 做 归 一 化 处 理 ， 记 











8 
IAI = /之 4 
m=1 
令 
二 Aas gtk an Bey ee a BE ee - 
A= ATP = (A, ,4, ,As „Å, „A5 Ag ,47 „A; ) (3-28 ) 
0 (OSA, <a) 

ô, = 3-29 
—— (a<A,;S1) ( ) 








以 上 只 是 给 出 了 一 种 隶属 函数 ， 实 际 上 求 属 函 数 可 根据 人 的 态度 曲线 来 确定 。 比 如 说 ， 
给 定 一 条 态度 曲线 ， 便 可 采用 BP 神经 网 络 来 实现 。 以 此 曲线 作为 教师 信号 ， 反 复 训练 神经 
网 络 ， 便 可 得 到 与 曲线 近似 吻合 的 隶属 函数 。 

现在 考虑 一 下 内 驱 力 与 复合 情绪 之 间 的 关系 。 由 于 一 个 人 在 情绪 高 涨 时 ， 做 事 的 动力 也 
会 增加 ， 所 以 可 认为 情绪 对 内 驱 力 是 起 加 强 作用 的 。 同 样 ， 人 在 做 事 欲望 强 时 ， 和 情绪 也 更 容 
易 波动 ， 所 以 可 认为 内 驱 力 对 情绪 也 是 起 加 强 作 用 的 。 可 认为 情绪 与 内 驱 力 都 有 自发 衰退 的 
趋势 。 根 据 以 上 理论 ， 可 用 数学 表达 式 描述 两 者 关系 如 下 : 





du _ 

u -auts (3-30) 
a ee (3-31) 
dt 


AF, s 为 复合 情绪 中 某 一 种 情绪 强度 ; u 为 与 内 驱 力 对 应 的 该 种 情绪 的 分 量 强 度 ; a 为 内 
驱 力 的 衰减 系数 ，a >0; B 为 情绪 的 衰减 系数 ，B >0。 下 面 用 精确 消去 的 方法 求解 此 方程 
组 。 
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直接 求解 式 (3-31) 4 


s(t) = E eB (rn) dr (3-32) 
进行 分 部 积分 ， 得 
ü- du 
ie a" (4) le 9 (uo) ar (3-33) 
将 式 (3-30) 代入 式 (3-33) 得 
s(t) = Ah) a — au’ + us) dT (3-34) 


再 进行 迭代 ， 有 

s(t) = eO - Ta (- au + a ) ar (3-35) 
这 样 反 复 进 行 分 部 积分 和 迭代 ， 得 
Cj an + ene) -0 | (=2au?) HW )(-au(t) dps 


f Eara i Je (4) = re ‘Beh (t) + [Se je +… (3-36) 
Be P E È B Bp E 
多 次 利用 迭代 和 分 部 积分 后 ，s(t) 即 可 用 u(t) ARRAN THK. Fi u(t) 足够 小 ， 
则 s(z) 就 可 以 用 前 面 的 少数 几 项 来 表示 。 由 外 界 刺激 决定 内 驱 力 的 表达 式 可 看 出 0<u<1， 
日 一 般 情况 下 得 到 的 w 都 比较 小 ， 所 以 可 认为 满足 条 件 ， 忽 略 高 阶 次 项 ， 取 s(t) 的 近似 表 
达 式 得 
2 4 小 ， 
s(t) = |e et (t) (3-37) 
Be P 
因此 ， 在 考虑 复合 情绪 的 数学 描述 时 ， 又 考虑 到 基本 情绪 对 复合 情绪 的 影响 ， 可 认为 复 
合 情 绪 由 下 式 决定 : 
P(t) = [perso Joo (3-38) 
E È PB 
RP, P(t) 为 复合 情绪 ; u(t) 为 内 驱 力 ; p(t) 为 基本 情绪 ; w、B 为 常数 ， 与 人 的 个 性 
敏感 度 有 关 ， 起 着 调控 人 情绪 波动 幅度 的 作用 。 
复合 情绪 的 向 量 形式 为 
(61p1, P2, Ô3P3, O4P4, 6sps, epe, O7P7> OsPs) 
1 4 4). 
AF, 6, = (G3 + oe Ju (t) 


2) 无 外 界 刺激 的 模型 : 在 无 外 界 刺激 的 情况 下 ， 刺 激 输入 的 情感 模型 不 再 适用 ， 在 这 
种 情况 下 ， 可 认为 情绪 自发 地 向 平静 状态 转变 。 在 这 种 情况 下 ， 可 以 认为 基本 情绪 在 内 驱 力 
作用 下 自发 向 平静 状态 转移 。 该 模型 给 出 一 种 内 驱 力 与 基本 情绪 之 间 关 系 的 描述 方法 。 一 般 
说 来 ， 人 对 事情 的 态度 与 情绪 正 相 关 ， 人 情绪 越 高 ， 做 事 越 积极 。 而 做 一 件 事 的 动力 也 会 因 做 
事 时 间 的 延长 而 逐渐 消退 ， 所 以 可 认为 内 驱 力 既 自 发 衰减 又 在 基本 情绪 作用 下 正 向 加 强 。 基 
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AS ts 2 UE SK HIA M EAER, TEMES AR, ARO, sem, X 
与 实际 也 是 较 相 符 的 。 现 给 出 由 以 上 理论 构建 出 的 数学 的 描述 式 : 
T ERX -BXY=C(X,Y,k k) (3-39) 
t 
dY 
q TAYY = Gy (XV oho sh) (3-40) 
式 中 , X 为 一 种 基本 情绪 强度 ; dX/di 为 情绪 强度 变化 律 ; 了 为 内 驱 力 对 应 该 基本 情绪 的 分 
量 的 强度 ; dY/dt 为 内 驱 力 变化 律 ; bk, 为 基本 情绪 的 增加 系数 ; bk, 为 基本 情绪 的 衰减 系数 ， 
同时 也 是 内 驱 力 的 增加 系数 ; kh, 是 内 驱 力 的 衰减 系数 。 
现 先 求 解 此 方程 组 ， 由 定 态 条 件 dX/dt = dY/dt =0， 可 得 











k,X=k,XY k,XY=h,Y (3-41) 
虽然 = 了 =0 也 满足 上 式 ， 但 无 意义 ， 故 有 意义 的 定 态 解 是 
k, k, 
Xo = Y= (3-42) 





由 于 情绪 总 会 受到 微小 的 扰动 ， 所 以 对 定 态 解 进行 稳定 性 分 析 。 首先 写 出 并 求解 定 态 解 
附近 扰动 的 演化 方程 ， 然 后 分 析 扰 动 的 渐 近 行为 ， 令 









































X =X, +x Y=Y,+y (3-43 ) 
BA 
lal <<X, | yl <«<Y, 
将 式 (3-43) 代入 式 (3-42) 
dx 60C， ðG, 1 (8G, aG, ac, 
x + 一 一 y 一 {一 x +2 xy +— ype 
dt AX | (xv) OY | (Gao) 2 ~ ax? | Vor) AXAY | (XY) aY | (Yor) 
= Kx - K, Yx - K, Xoy — ky xy 
= -k,y(Xo +x) (3-44) 
dy ôG, aG, 186, ， PG PG, ‘ 
oo. x + 一 一 y+—| x +2 xy + 一 -一 phe 
dt aX law oY law 2 ~ aX? | Moor) AX AY | Gor) aY | Co) 
=K, Yx +K, Xoy - Ksy + k xy 
=kh,x(Y, +y) (3-45) 


式 (3-44) 和 式 (3-45 ) 是 扰动 xy 服从 的 演化 方程 。 忽 略 高 阶 次 量 xy, 可 将 它们 线性 化 ,而 
得 到 扰动 服从 的 线性 方程 组 . 


—= -kXoy= -ky 


dy 
a =k Yax =k,x 


oeo oi 


写成 矩阵 形式 为 


线性 方程 式 (3-46) 的 解 为 
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HE oo 
y Yo 


A 由 下 列 特征 方程 决定 : 











(ran) |=0 (3-48) 
Yo 
式 (3-48) 有 非 零 解 的 条 件 是 
zk eh 
kho -al 
BA? +k,k; =0, Bl 
Ai = +j Vhks = 土 jw (3-49) 
即 为 纯 虚 数 ， 式 中 w = kikyo West (3-49) 代入 式 (3-47), WA 
HENGI + jot | (3-50) 
y: Yo 
Xo Xo +X 
R (3.50) 说 明 ， 设 1=0 时 ， 情 结 处 于 偏离 定 态 | ”的 菜 一 初 态 | T° | sua 





癌 的 增长 ， 情 绪 中 不 会 无 限 地 远离 ， 也 不 会 无 限 地 站 于 定 在 ， 而 是 简单 地 用 绕 定 态 | ”起 
荡 。 振 荡 的 圆 频 率 是 w = ,后 后。 这 一 结果 描述 了 情绪 稳定 后 围绕 平静 状态 上 下 波动 的 情 
况 ， 与 实际 是 相符 的 。 

考虑 到 情绪 的 连续 性 ， 情 绪 恢 复 到 平静 的 过 程 不 可 能 是 个 大 的 阶 越过 程 ， 而 应 该 是 一 
个 缓慢 发 展 的 过 程 。 这 里 引用 协同 学 中 的 最 大 信息 糖 原理 来 描述 这 过程。 最 大 信息 炳 原理 
认为 ， 在 非 平衡 相 变 点 处 ， 系 统 将 要 演化 到 的 有 序 状态 (分布 函数 的 ) 信息 粮 在 各 种 可 能 
状态 中 具有 最 大 值 。 借 用 这 一 思想 ， 该 模型 引进 人 工 心理 理论 中 的 情感 精 的 概念 ， 即 情感 类 
是 描述 情感 的 微观 变化 与 宏观 表现 的 桥梁 。 其 数学 形式 为 











8 
H(P) = > P,,loz,P,, 
m=1 


对 复合 情绪 的 分 量 做 归 一 化 处 理 , 记 ||P || = X Pro S 


~ 人 a ~ 人 nN 


= CP ， P,, P;, P,, P;, Ps, P,, P,) 


可 认为 复合 情绪 处 在 各 基本 情绪 的 概率 为 其 对 应 分 量 户 , ， 给 出 一 种 心情 平静 状态 的 定 
义 : 当 复合 情绪 处 在 各 基本 情绪 概率 相等 时 ， 为 心情 的 平静 状态 。 也 就 是 在 情感 炉 最 大 时 ， 
心情 处 在 平静 状态 。 认 为 情感 箭 越 大 ， 心 情 越 趋 于 平静 状态 。 

现在 给 出 一 种 模拟 心情 趋 于 平静 过 程 的 方法 。 采 用 最 优化 理论 中 的 模拟 退火 算法 来 模拟 
心情 自发 趋 于 平静 的 过 程 。 它 与 心情 平静 过 程 都 是 自发 过 程 ， 具 有 一 定 的 相似 性 。 

模拟 退火 算法 是 基于 金属 退火 的 机 理 而 建立 起 来 的 一 种 全 局 最 优化 方法 ， 它 能 够 以 随机 
搜索 技术 从 概率 的 意义 上 找 出 目标 函数 的 全 局 最 小 点 。 模 拟 退 火 过 程 的 构成 要 素 如 下 : 
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db 搜索 空间 O, 搜索 空间 也 称 为 状态 空间 ， 它 由 可 行 解 的 集合 组 成 ， 其 中 的 一 个 状态 x 
就 代表 一 个 可 行 解 。 在 情感 空间 中 ， 一 个 复合 情绪 状态 就 代表 一 个 可 行 解 。 

DAERA EP): 能 量 函 数 也 就 是 需要 进行 优化 计算 的 目标 函数 ， 其 最 小 点 为 所 求 的 
ICCA. CRRA Ty Ee eR, B 


8 
E(P) =-H(P) = > P,log,P,, 
1 


名 状态 转移 规则 p: 状态 转移 规则 是 指 从 一 个 状态 Pu 向 另 一 个 状态 P,, 的 转移 概率 ， 
它 与 当前 的 温度 参数 了 有 关 。 

(冷却 进度 表 7(1) : 冷却 进度 表 是 指 从 某 一 高 温 状 态 Ty 向 低温 状态 冷却 时 的 降温 管理 
表 。 

假设 时 刻 ;的 温度 用 7(:) 来 表示 ， 经 典 模拟 退火 算法 的 降温 方式 为 

















To 
me “ga +t) 
而 快速 模拟 退火 算法 的 降温 方式 为 
Ty 
ED) 1 +t 


这 两 种 方式 都 能 够 使 得 模拟 退火 算法 收敛 于 全 局 最 小 点 。 
假设 在 状态 P,, 时 ， 系 统 受到 某 种 扰动 而 可 能 会 使 其 状态 变 为 P,,。 与 此 相对 应 ， 系 统 
的 能 量 也 可 能 会 从 (Pu ) MERLE (Pye) 。 系 统 由 状态 Pu 变 为 状态 Pu 的 接受 概率 可 由 下 
面 的 Meteopolis 规则 来 确定 : 
1 ifE(P,,,) <E(P,,) 
E(P,.,) — ECP oa) 
T 
上 式 的 含义 是 ; 当 新 状态 使 系统 的 能 量 函 数值 减少 时 ， 系 统 也 一 定 接受 这 个 新 的 状态 ; 
而 当 新 状态 使 系统 的 能 量 函 数值 增加 时 ， 系 统 也 以 某 一 概率 接受 这 个 新 状态 。 
固定 温度 参数 7， 反 复 进行 状态 转移 过 程 ， 接 受 概率 p(x) 将 服从 Gibbs 分 布 : 
E(x) 
z 


P= (3-51) 





exp ( - ) it (Py) EPa) 





p(x) = exp ( = (3-52) 
Z 


式 中 ，2Z 是 使 概率 值 正规 化 的 系数 。 

由 上 式 可 见 ， 随 着 温度 参数 7 的 减 小 ， 接 受 概率 也 逐渐 减 小 ， 最 后 系统 会 收敛 于 某 一 
能 量 最 小 的 状态 ， 该 状态 就 可 作为 目标 函数 的 全 局 最 小 值 。 对 应 于 情感 模型 也 就 是 心情 的 平 
ERA. 

其 具体 算法 如 下 : 

以 当前 心情 状态 点 为 初始 最 优点 ， 计 算 目 标 函 数值 ( 即 能 量 函数 值 ) 。 

@) 设 置 初始 温度 0 一 7,。 

人 设置 时 间 人 参数 1, 

@ 对 当前 最 优点 作 一 随机 变动 ， 产 生 一 个 新 的 最 优点 ,计算 新 的 目标 函数 值 ， 并 计算 目 
标 孔 数值 的 增 量 A o 
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回 如 果 A <0， 则 接受 该 新 产生 的 最 优点 为 当前 最 优点 。 

@@ 如 果 4A>0， 则 以 概率 p = exp( -A/0) 接受 该 新 产生 的 最 优点 为 当前 最 优点 。 

Ouse: < 终止 时 间 ， 则 +l, HEOR, 

@ 如 果 未 达到 冷却 状态 ， 则 ;97(1) ， 转 向 第 @ 步 。 

加 如 果 已 达到 冷却 状态 ， 则 输出 当前 最 优点 ， 计 算 结 

3) 输出 反应 : 参照 图 3-5 所 示 的 面部 表情 与 情绪 对 照 规则 ， 这 里 给 出 一 种 基于 表情 的 
机 器 情绪 对 应 关系 。 

OD 在 接受 刺激 的 模型 中 ， 复 合 情 绪 的 数值 范围 是 可 以 确定 的 ， 根 据 其 数值 范围 ， 将 每 一 
种 情绪 分 为 五 个 等 级 : 无 、 微 、 中 、 强 、 极 强 ， 对 应 每 一 种 情绪 的 每 一 种 强度 给 出 一 种 或 几 
种 表情 。 

在 最 终 的 复合 情绪 确定 以 后 ， 依 次 从 大 到 小 取 其 分 量 ， 使 得 分 量 之 和 大 于 给 定 的 阔 值 
(比如 60% )， 再 根据 这 些 分 量 的 情绪 的 强度 ， 取 出 对 应 的 表情 输出 。 

设 取 出 的 分 量 为 喜悦 ， 对 应 其 情绪 强度 为 中 ， 则 输出 表情 如 图 3.34 所 
ZN 6 

QAP TUR BERLE, RARUA, Mm NR, w E PRM 
从 大 到 小 取出 比例 最 大 的 分 量 ， 直 到 超过 阔 值 ， 用 此 分 量 值 乘 以 || P |， 得 到 情感 强度 ， 再 
从 表情 表 中 取出 其 表情 ， 并 输出 。 

(2) 仿真 及 分 析 仿真 的 目的 在 于 给 出 此 模型 的 实现 ， 并 分 析 情 感 的 变化 过 程 和 转移 
规律 。 在 有 外 界 刺激 时 ， 根 据 接受 外 界 刺激 的 模型 ， 动 态 地 模拟 人 的 情感 变化 过 程 和 表情 变 
化 过 程 。 在 情绪 稳定 以 后 ， 再 模拟 人 情绪 向 平静 状态 转化 的 过 程 ， 绘 出 转移 曲线 。 图 3.35 
所 示 为 接受 刺激 模型 仿真 界面 。 


RERI 





























A EPN AREE NNE PEENE E ERTEN TTE ENSA EAR ire 





图 3-35 ”接受 刺激 模型 仿真 界面 
界面 的 组 成 部 分 包括 : 
刺激 的 输入 。 根 据 图 3-5 所 示 的 表情 种 类 ， 该 仿真 只 模拟 了 四 种 基本 情绪 的 情况 。 在 仿 
真 界 面 最 上 方 的 四 个 基本 情绪 输入 框 中 输入 刺激 强度 。 
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基本 情绪 输出 曲线 。 根 据 基本 情绪 方程 ， 随 着 时 间 参 数 i 的 改变 ， 实 时 地 输出 对 应 于 时 
间 i 的 各 基本 情绪 的 曲线 。 

复合 情绪 曲线 。 由 基本 情绪 和 内 驱 力 的 结合 ， 随 着 时 间 参 数 上 的 改变 ， 实 时 地 输出 对 应 
于 时 间 + 的 各 复合 情绪 分 量 的 曲线 。 
输出 表情 。 在 基本 情绪 曲线 左边 ， 实 时 地 根据 复合 情绪 将 对 应 的 表情 输出 。 
图 3-36 所 示 为 无 刺激 输入 模型 仿真 界面 ， 它 是 在 图 3-35 所 示 仿 真 的 基础 上 ， 在 情绪 已 
稳定 的 情况 下 ， 增 加 了 情绪 向 平静 转移 的 曲线 输出 。 该 输出 曲线 有 两 个 参数 : 时间 参 数 + 和 
情绪 炉 的 负 值 参数 ( 由 于 在 模拟 退火 算法 中 采用 了 信 的 负 值 作为 目标 函数 )。 由 恢复 平静 曲 
线 可 看 出 ， 在 无 外 界 刺激 的 情况 下 ， 随 着 时 间 : 的 改变 ， 情 绪 焙 的 负 值 一 直 在 减少 ， 所 以 情 
绪 依 一 直 在 增加 。 在 业 值 最 大 时 ， 人 情绪 达到 平静 状态 。 但 由 于 退火 算法 中 不 断 给 予 目标 函数 
微小 扰动 ， 所 以 精 值 不 会 稳定 在 某 一 固定 值 ， Dees ee eae eek 
既 不 会 远离 ， 也 不 会 无 限 趋 于 该 什 这 与 理论 上 推 






































图 3-36 无 刺激 输入 模型 仿真 界面 





(3) 结论 该 模型 在 基本 情绪 理论 的 基础 上 ， 建 立 了 一 套 心理 模型 ， 进 而 给 出 了 该 理 
论 的 一 套数 学 描述 及 其 推导 ， 其 目的 在 于 对 情感 状态 的 变化 进行 数学 描述 ， 对 情感 的 变化 规 
HIT, 并 给 出 了 近似 求解 的 数值 算法 。 

通过 仿真 ， 可 以 直观 地 看 到 所 模拟 的 情感 变化 过 程 ， 并 可 根据 调整 参数 (B, a, B) 来 
修改 曲线 ， 以 使 曲线 更 好 地 与 实际 相符 合 。 

该 模型 中 所 做 的 这 些 工 作 ， 都 是 试图 建立 一 个 表现 结果 接近 与 人 类 的 情感 模型 ， 为 情感 
机 器 人 的 数学 建 模 与 情感 决策 支持 系统 提供 了 一 种 新 的 方法 。 

4. 基于 马尔 可 夫 过 程 的 情绪 状态 转移 模型 

该 模型 提出 的 情绪 模型 的 基本 思想 是 : 认为 人 类 情绪 在 不 同 状态 间 的 转移 是 一 个 马尔 可 
夫 过 程 ， 其 转移 概率 和 矩阵 可 以 通过 统计 学 的 方法 加 以 确定 。 该 模型 还 依据 心理 学 的 理论 提出 
了 一 种 设计 调查 问卷 的 方法 ， 以 获取 数据 确定 一 般 人 的 情绪 状态 转移 概率 ， 并 给 出 了 一 套 符 
合 统计 学 理论 的 数据 处 理 方法 。 








= 
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(1) 该 模型 的 构造 

1) 情绪 状态 集 : 对 情绪 变化 过 程 建 模 必 然 涉 及 对 情绪 分 类 的 问题 。 有 些 学 者 更 关心 连 
续 情 感 状态 的 分 布 。 然 而 Picard 教授 指出 : 那些 喜欢 将 情感 当 作 连续 量 的 人 ， 可 以 考虑 离散 
的 分 类 是 连续 空间 的 一 个 区 域 。 从 某 种 意义 上 说 ， 选 择 离散 或 连续 状态 就 好 像 用 粒子 或 波动 
来 描述 光一 样 。 最 终 ， 哪 一 种 解释 更 好 ， 取 决 于 你 要 解释 什么 问题 。 基 本 情绪 理论 认为 ， 情 
绪 在 发 生 上 有 原型 形式 ， 即 存在 着 数 种 泛 人 类 的 基本 情绪 类 型 ， 每 种 类 型 各 有 其 独特 的 体验 
特性 、 生 理 唤醒 模式 和 外 显 模式 ， 其 不 同形 式 的 组 合 形成 了 所 有 的 人 类 情绪 。 因 此 ， 该 模型 
将 种 基本 情绪 作为 独立 的 情绪 状态 从 而 构成 情绪 状态 集 S, S= {1, 2, +, klo 

2) 决策 : 情绪 理论 认为 : 认 知 将 当前 环境 信息 转变 为 中 枢 神 经 信号 ， 对 将 来 的 环境 变 
化 产生 预测 ， 最 终 促使 生命 体 产生 适应 性 行为 。 这 种 对 外 界 刺激 的 认 知 行为 ， 是 生命 体 适应 
生存 环境 的 本 能 手段 。 生 合体 产生 什么 样 情绪 感受 (是 忧虑 还 是 期 得 )， 以 及 什么 样 情绪 反 
应 (是 进攻 还 是 逃跑 ) ， 都 基于 对 当前 刺激 可 能 产生 的 结果 的 某 种 预测 之 上 。 因 此 ,模型 用 
随机 变量 a, 反映 生命 体 的 上 述 本 能 的 认 知 行为 ,i 表示 当前 时 刻 正 处 于 第 i 种 情绪 状态 ， 称 
a; 为 决策 。 

3) 决策 与 情绪 状态 转移 概率 的 关系 : 在 目前 时 刻 处 于 第 i 种 情绪 状态 ,采取 决策 a, 
则 到 下 一 时 刻 转移 到 第 j 种 情绪 状态 的 概率 用 p;， (a) 表示 。 在 自然 现象 中 ， 大 量 随机 变量 
都 服从 或 近似 服从 正 态 分 布 。 因 此 ， 该 模型 认为 当前 时 刻 处 于 第 i 种 情绪 状态 的 不 同 的 人 ， 
在 有 外 界 刺激 条 件 下 的 决策 ww ~N (0, 0) « 

h, =(igps Ms i, 4, =, Da’ a,’ L) MAL. RIK mr HHP w= (m, m, 0), 
当 历 史 为 hh, 时 ， 策略 按 a, 上 的 分 布 7 (lh) 采取 决策 。 

MR a (+ lh) 与 时 刻 n 无 关 ， 称 之 为 随机 平稳 策略 。L(7) 表示 序列 (X, Ay, 
X’ A’ e), X 表示 时 刻 i 时 的 状态 ，A, 表示 时 刻 i 时 的 决策 。 

容易 猜想 对 于 一 般 的 策略 r, Lr) 不 是 一 个 马尔 可 夫 链 ， 当 7 是 平稳 策略 时 ，L(7) 
是 一 个 马尔 可 夫 链 ， 且 是 时 齐 的 。 

证 明 . 

由 平稳 策略 的 马尔 可 夫 性 及 概率 乘法 公式 知 : 

PXT =j,A,, =blh,,A, =a} 

=PIX,,, =jlh,,4, =a}P{A,,, =blh,,A, =a,X_,, = 让 

=p,(a)7,,,(b1(h,,@,J) ) 

=p,(a)7,,,(b1,) 

=P\X_,, =j|X,=i,4, =a} P{A,,, =b1X,,, = 让 

=P\X_,., =j,4,,, =bIX, =i,A, =a} (3-53) 
进而 ,L(7) 的 状态 子 序列 Ls(7) 是 一 个 时 齐 马 尔 可 夫 链 。 

证 明 : 对 于 Ls(7) ,由 全 概率 公式 及 平稳 策略 的 定义 知 : 

PX a =jlX, =i), X, 4, X, =i} 

=) PIA, = al X, =i ği =i,,-+,X, =i} - 



























































PIX =JIX =i) ,X, = Xn =i,A, =a} 
= x(a! i)p,(a) 


114 


=P{X,,, =j|X, =i} (3-54) 
转移 概率 矩阵 为 
Pu Pu 
P=-|M 0 M (3-55) 
ba He He 


式 中 ， Py =P}X,,, =j|X, SG 
HEN AOR ASPER ERASE i 行 的 元 素 按 大 小 重新 排列 ， 用 p, 表 示 (ph, >p >p). 
考虑 到 a,~N (0,，o,)， 可 以 将 决策 a 与 情绪 状态 转移 概率 间 的 关系 描述 为 
pi =P |l al <L} 


ph =Pil, <la; l SL} (3-56) 
p's =Pih_, <la,l<i,} (3-57) 
pi, =P| la; l >l} (3-58) 


式 中 , >l >t >h >0, L G=l, 2, =, k) 表示 a, 所 在 区 间 的 边界 值 。 

4) 报酬 函数 : 情绪 作为 生命 体 适应 生存 的 心理 工具 ， 其 有 效 与 否 ， 取 决 于 认 知 预测 精 
确 与 否 。 该 模型 采用 报酬 函数 作为 认 知 行为 精确 与 否 的 度量 标准 。 取 报酬 函数 > (i, a) = 
l-exp (-1), G=1, 2, =, 有)。 生 命 体 采 取 的 决策 越 精确 ，a; 所 在 区 间 的 边界 值 /就 越 
小 ， 报 酬 函 数 的 值 也 就 越 小 。 

(2) 调查 问卷 ”该 模型 的 显著 特点 是 可 以 通过 调查 问卷 获得 原始 数据 ， 再 依据 数理 统 
计 原 理 对 数据 进行 处 理 ， 得 到 情绪 状态 转移 概率 。 

1) 调查 问卷 的 设计 方法 : 调查 问卷 属于 主观 体验 测量 方法 。 采 用 这 种 设计 方法 主要 有 
两 个 原因 。 首 先 ， 各 种 以 脑 活 动 和 外 显 行为 为 指标 的 研究 方法 ， 遗 留 的 一 个 难以 接触 的 方面 
是 心理 的 “ 纯 ” 主 观 方面 的 事物 一 一 例如 体验 。 男 外 ， 无 论 生理 或 表情 测量 均 需 采用 复杂 
的 仪器 。 而 且 一 般 来 说 ， 不 是 一 次 性 测量 就 能 得 出 所 需要 的 结果 的 。 

TAT EG SEAS TP AEB EG, THER RAL, GBR 、 厌 亚 六 种 。 每 一 道 问题 都 设 
计 了 被 调查 者 在 当前 时 刻 所 处 的 情绪 状态 ， 在 这 一 时 刻 外 界 的 刺激 ; 各 选项 表示 被 调查 者 在 
题目 设计 的 环境 下 将 在 下 一 时 刻 转 移 到 何 种 情绪 状态 。 根 据 基 本 情绪 理论 ， 情 绪 是 指 由 特定 
刺激 所 激 起 的 ， 由 认 知 评价 、 主 观感 受 、 行 为 反应 等 因素 组 成 的 整个 反应 序列 。 因 此 ， 题 目 
及 其 选项 对 情绪 的 描述 不 是 仅 限 于 情绪 的 主观 感受 ， 也 包括 与 情绪 相应 的 外 显 行为 。 

如 何 描述 几 种 不 同 的 基本 情绪 状态 呢 ?” 普 拉 奇 克 建 立 了 分 别 以 功能 语言 、 特 质 语言 和 行 
为 语言 来 描述 对 应 的 术语 。 描 述 基 本 情绪 使 用 了 四 种 语言 ， 见 表 3-5。 

R35 描述 基本 情绪 的 四 种 语言 




















































































































主观 语言 行为 语言 功能 语言 特质 语言 
惧怕 逃避 保护 ABA 
愤怒 打击 破坏 攻击 
快乐 合作 再 生 善 交际 的 




































































( 续 ) 
主观 语言 行为 语言 功能 语言 特质 语言 
悲伤 求援 再 整合 压抑 的 
BESS 接纳 合作 可 信任 的 
Rak 排斥 拒绝 不 可 信任 的 
Vt 探索 探索 可 控 的 
惊奇 停止 倾向 不 受 控制 的 

















该 模型 参考 普 拉 契 克 的 用 形容 词 描述 情绪 的 办 法 ， 设 计 了 调查 问卷 。 

例题 : 你 的 一 项 工作 办 砸 了， 你 心情 志 亚 不 安 ， 这 时 你 的 领导 当众 批评 你 ， 你 会 : 

A. 认为 领导 的 批评 不 合理 ， 对 领导 的 做 法 不 满 

B. 自己 也 在 埋怨 上 自己， 心情 郁 问 

C 是 预料 之 中 的 事 ， 心 里 反而 平静 了 一 些 

D. 担心 领导 会 对 自己 失去 信任 

E. 同意 领导 的 观点 ,冷静 地 分 析 自 己 的 失误 

F. 认为 领导 伤 了 自己 的 脸面 ， 对 他 很 反感 

2) 数据 的 处 理 方法 : 将 问卷 得 到 的 数据 按 数 理 统计 方法 处 理 ， 求 得 一 般 人 的 情绪 状态 
转移 概率 。 

将 所 有 人 从 第 i 种 情绪 状态 转移 到 第 j 种 情绪 状态 的 概率 值 的 全 体 称 之 为 总 体 X;。 设 有 
种 基本 情绪 状态 ,要 研究 的 总 体 数量 就 是 情绪 状态 转移 概率 矩阵 的 元 素数 xk。 每 个 人 从 
第 i 种 情绪 状态 转移 到 第 j 种 情绪 状态 的 概率 值 称 为 总 体 闷 的 个 体 。 

按照 题目 设 定 的 被 调查 者 在 当前 时 刻 所 处 的 情绪 状态 ， 对 题目 进行 分 类 。 因 为 有 上 天 种 基 
本 情绪 状态 ， 所 有 题目 分 为 大 类 。 每 类 题目 设 定 的 被 调查 者 在 当前 时 刻 所 处 的 情绪 状态 相 
同 o 对 每 一 类 题 目 : 

首先 ， 统 计 其 包含 的 题目 数量 ， 记 为 5, 下 标 i 表示 该 类 题目 设 定 被 调查 者 在 当前 时 刻 处 
在 第 i 种 情绪 状态 。 

然后 ,分 别 统计 与 被 调查 者 选择 的 选项 对 应 的 他 在 下 一 时 刻 转移 到 各 种 情绪 状态 的 数 
E, WNT, FER 表示 被 调查 者 在 下 一 时 刻 将 转移 到 第 j 种 情绪 状态 。 

最 后 ， 计 算 被 调查 者 的 情绪 状态 转移 概率 p: 


Psy (3-59) 


对 某 类 题目 的 调查 结果 做 上 述 处 理 ， 就 能 得 到 从 该 类 题目 设 定 的 被 调查 者 在 当前 时 刻 所 
处 的 情绪 状态 向 各 个 情绪 状态 转移 的 概率 ， 这 些 概 率 构 成 了 情绪 转移 概率 矩阵 的 一 行 。 依 次 
处 理 各 类 题目 相应 的 调查 结果 ， 最 终 得 到 一 个 被 调查 者 的 情绪 状态 转移 概率 矩阵 已 为 






































Pu ”Pr 
P=|M 0 M (3-60 ) 
Pa 7" Pik 








X) n 份 问 卷 的 调查 结果 进行 上 述 处 理 ， 就 得 到 了 对 各 个 总 体 X; 的 n 个 观察 结果 ，n 称 为 
这 个 样本 的 容量 。 
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该 模型 中 ， 认 为 所 有 人 从 第 i 种 情绪 状态 转移 到 第 j 种 情绪 状态 的 概率 这 一 总 体 X; 服 从 
正 态 分 布 。 设 计 本 问卷 目的 是 ， 确 定 符合 一 般 人 的 标准 情绪 状态 转移 概率 矩阵 。 标 准 情绪 状 
态 转 移 概率 矩阵 的 意义 是 : 绝 大 部 分 人 的 情绪 转移 概率 值 在 它 的 元 素 值 附近 波动 。 服 从 正 态 
分 布 的 随机 变量 的 概率 密度 随 着 随机 变量 与 分 布 函数 均值 的 距离 增加 而 减 小 ， 当 随机 变量 接 
近 均 值 时 ， 其 概率 密度 很 大 。 该 模型 根据 正 态 分 布 函 数 的 这 个 特点 和 标准 情绪 转移 概率 的 意 
X, EXX, (i, j=1, 2, =, k) 的 分 布 函数 的 均值 ,作为 相应 的 标准 情绪 转移 概率 值 
Pio 

Wu =X,, =S, WIRX~N (jw，o?)， 对 于 随机 变量 xX 来 说 ， 它 的 值 落 在 区 间 
[u -30, +3c] 内 ， 几乎 是 肯定 的 事 。 因 此 ， 将 问卷 中 得 到 的 落 在 区 间 [a - 30, Á + 
3 人 ] 之 外 的 样本 值 视 为 异常 样本 值 。 在 剔除 异常 样本 值 之 后 ， 依 据 正常 的 样本 值 对 总 体 分 
布 函数 的 凡 Alo? 重新 进行 点 估计 。 

下 一 步 ， 对 总 体 分 布 函 数 的 均值 进行 区 间 估 计 。 根 据 数理 统计 的 知识 ， 得 到 j 的 置信 
度 为 1 -a 的 置信 区 间 : 





(Re (3-61) 
dn 
式 中 , 7 为 样本 容量 ; 5 为 样本 方差 ; t 为 学 生 氏 分 布 。 对 于 标准 转移 概率 和 矩阵 已 有 
> = Pa + Po +7 +p, = 1 
HF, 标准 的 情绪 转移 概率 是 所 有 人 的 情绪 转移 概率 的 总 体 的 均值 那么 
> = Ua +My torr toy = 1 (3-62) 


式 中 ,jj 表示 所 有 人 从 第 i 种 基本 情绪 转移 到 第 j 种 基本 情绪 的 概率 的 总 体 XE Vi, OR 
出 js(j=1，2，,，…, k) 满足 上 述 方程 的 解 。 

可 以 采用 遗传 算法 搜索 上 述 方程 的 解 ， 将 解 的 搜索 范围 限制 在 pw; 的 置信 区 间 内 。 遗 传 
算法 的 关键 问题 是 确定 适应 度 函 数 。 本 模型 取 适 应 度 函 数 为 


fi) =- | Bz (3-63) 


假设 上 述 方程 的 解 是 各 个 情绪 转移 概率 的 总 体 的 均值 ， 分 别 进 行 假设 检验 。 
BEX,~N (m È), EPa 为 未 知 ， 我 们 来 求 检验 问题 





























Ay: M; =ü; H: Wy hs 
的 拒绝 域 (显著 性 水 平 为 a) 。 若 ,为 样本 均值 ，5; 为 样本 方差 ， 则 拒绝 域 为 
X; -及 ， 
ltl = Zt (n-1) (3-64) 








经 假设 检验 ， 若 ;不 落 在 拒绝 域 中 ， 就 接受 H,, BAKE EN ay 否则 ， 认 
Wy ji REAR X, 的 均值 ， 需 要 利用 方程 重新 搜索 X HEKI 

(3) 结论 “该 模型 力图 反映 在 有 外 界 刺激 的 条 件 下 ， 一 般 人 的 标准 情绪 变化 过 程 。 与 
其 他 情绪 模型 相 比 ， 它 有 如 下 特点 @ 考 虑 了 外 界 刺激 对 人 类 情绪 变化 过 程 的 影响 ，@ 采 用 
调查 问卷 的 方法 ， 获 得 数据 ; 然后 依据 数理 统计 原理 确定 情绪 状态 转移 概率 ，@ 得 到 的 情绪 
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转移 概率 矩阵 反映 的 是 人 类 一 般 的 情绪 转移 概率 。 
3.5 ”未 来 研究 需要 解决 的 问题 


人 工 情感 作为 人 工 智能 的 扩展 研究 已 经 在 应 用 方面 取得 了 许多 进展 (主要 是 在 美国 、 
日 本 和 欧盟 国家 ) 。 但 是 ， 由 于 情绪 心理 学 理论 方法 的 多 样 性 ， 导 致 人 工 情感 的 理论 与 方法 
都 不 成 熟 ， 使 得 应 用 技术 受到 了 很 大 影响 。2003 年 ， 就 人 工 情感 与 情感 计算 具有 挑战 性 的 
六 个 问题 ，Picard 与 Eva Hudlicka 进行 了 批评 与 反 批 评 的 论述 。AAAI04、SCI04 、HCI04 等 
国际 会 议 的 人 工 情绪 专题 研讨 会 希望 心理 学 家 、 生 理学 家 和 信息 科学 家 一 起 就 人 工 情 绪 的 理 
论 与 方法 进行 深入 的 研讨 。 

可 以 说 ， 人 工 情感 研究 领域 的 许多 挑战 让 我 们 深思 ， 其 中 的 主要 问题 归纳 如 下 : 

1) 情绪 心理 学 理论 的 多 样 性 ， 导 致 人 工 情绪 理论 方法 的 不 一 致 ， 以 至 于 很 难 找到 适用 
于 信息 科学 的 人 工 情绪 的 统一 理论 方法 。 

2) 目前 几乎 还 没有 符合 人 类 情感 规律 并 适 于 机 带 实 现 的 人 工 情绪 自 动 生成 模型 ， 并且 
在 近期 内 能 否 构 造 出 这 种 模型 令 人 怀疑 (Picard 与 Eva Hudlicka 进行 批评 与 反 批 评 大 辩论 的 
一 个 主要 内 容 ) ; 如 何 建 立 一 个 统一 的 人 工 心理 模型 来 表达 情绪 与 认 知 乃至 与 意识 的 关系 ， 
进而 适 于 机 器 实现 ， 这 将 是 一 个 很 大 的 挑战 。 

3) 在 智能 推理 过 程 中 ， 如 何 考虑 情绪 影响 的 因素 ， 实 现 真正 意义 上 的 拟人 推理 过 程 。 

4) 没有 帮助 人 工 情绪 研究 者 的 计算 机 仿真 平台 及 情感 计算 库 。 

5) 语音 情感 信息 处 理 技术 和 表情 识别 技术 的 不 成 熟 ， 成 为 制约 人 工 情感 与 和 谐 人 机 交 
互 技术 发 展 的 瓶颈 。 

6) 如 何 从 多 模 态 的 角度 进行 情感 信息 融合 、 识 别 与 理解 ， 实 现 自然 和 谐 的 人 机 交互 平 
BALE 

7) 人 工 情感 的 研究 成 果 如 何 与 较 成 熟 的 人 机 交互 平台 相 结 合 ， 实 现 和 谐 人 机 交互 技术 
应 用 的 重大 突破 。 

8) 如 何 验证 机 器 情绪 的 正确 性 ， 这 也 就 是 人 工 情 感 研 究 所 面临 的 图 灵 测 试问 题 。 

9) 如 何 从 人 工 情 绪 ( Artificial Emotion ) 走向 仿真 情绪 (Simulating Emotion ) 、 工程 情 
绪 (Engineering Emotional) ， 进 而 找到 重大 应 用 的 突破 点 ， 这 将 是 一 个 急 待 解决 的 问题 。 

如 果 能 够 解决 以 上 问题 〈 或 者 是 部 分 解决 ) ， 将 会 大 大 促进 人 工 情感 与 人 工 心理 的 成 熟 
与 进展 。 针 对 这 些 学 科 前 沿 的 源头 问题 ， 进 行 创新 性 研究 ， 解 决 普遍 认为 是 人 工 情 感 与 人 工 
心理 研究 中 的 几 个 困难 问题 ， 这 是 我 们 未 来 面临 的 主要 挑战 ， 当 然 这 也 是 我 们 的 机 遇 。 
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4.1 人 脸 检测 与 跟踪 技术 


4.1.1 人 脸 检 测 


人 脸 检 测 (Face Detection) 是 指 在 输入 图 像 中 确定 所 有 人 脸 (如 果 存 在 ) 的 位 置 与 大 
小 。 人 脸 检 测 系统 的 输入 是 可 能 包含 人 脸 的 图 像 ， 输 出 是 关于 图 像 中 是 否 存 在 人 脸 以 及 人 脸 
的 数目 、 位 置 、 尺 度 等 信息 的 参数 化 描述 。 

然而 ， 人 脸 作 为 人 类 自身 再 熟悉 不 过 的 一 个 组 成 部 分 ， 其 检测 问题 却 是 一 个 极 富 挑战 性 
的 课题 。 首 先 ， 人 脸 是 一 个 包含 五 官 、 毛 发 等 极 不 规则 的 复杂 符 测 目标 ， 不 同 的 人 脸 在 形 
状 、 大 小 、 颜 色 、 质 地 等 方面 都 有 很 大 的 变化 性 ; 其 次 ， 为 了 实现 检测 方法 的 鲁 棒 性 ， 要 考 
虑 人 脸 在 各 种 复杂 的 背景 中 ， 不 同 的 方向 、 角 度 、 尺 度 等 情况 下 所 展现 出 来 的 不 同 表象 ;再 
w, 我们 所 基于 的 检测 对 象 或 称 为 环境 大 多 是 由 图 像 捕 提 设 备 所 采集 的 数字 图 像 或 视频 流 中 
的 数字 图 像 序列 ， 所 以 采集 条 件 ， 特 别 是 光照 条 件 ， 包 括 光 源 的 方向 、 明 暗 、 色 彩 等 ， 都 会 
对 图 像 的 效果 产生 很 大 的 影响 ， 进 而 影响 对 人 脸 的 检测 ; 另外 ， 人 脸 上 还 可 能 长 有 胡须 、 戴 
有 了 眼镜 或 其 他 装饰 品 等 ， 这 些 也 同样 是 设计 一 种 有 效 的 人 脸 检测 算法 时 不 可 忽视 的 因素 。 

可 见 ， 人 脸 检 测 有 一 定 的 难度 和 复杂 性 ,但 对 这 一 问题 的 深入 人 研究 必 将 推动 模式 识别 、 
计算 机 视觉 、 人 工 智能 等 信息 科学 分 支 的 发 展 。 人 上 脸 检测 问题 在 近 十 年 中 得 到 了 广泛 的 关 
注 ， 国 内 外 很 多 研究 人 士 提 出 了 很 多 方法 ， 在 不 同 的 领域 取得 了 一 定 的 成 果 。 但 是 对 于 寻找 
一 种 能 够 普遍 适用 于 各 种 复杂 情况 的 、 准 确 率 很 高 的 检测 算法 ， 还 有 很 大 的 探索 空间 。 

下 面 介 绍 一 些 人 脸 检 测 方法 。 

1. 基于 知识 的 自 顶 向 下 的 方法 

这 种 方法 是 基于 在 认识 人 脸 的 过 程 中 所 总 结 出 来 的 一 些 先 验 知识 ， 把 它们 归结 成 为 一 些 
复杂 程度 由 简 而 繁 的 规则 。 例 如 :“ 正 面 人 脸 都 包括 两 只 位 置 相互 对 称 的 眼睛 ”“ 灰 度 网 像 
中 眼睛 要 比 脸 上 其 他 地 方 暗 ”等 。 找 到 一 系列 规则 后 ， 把 它们 应 用 到 输入 图 像 中 ， 搜 索 出 
符合 规律 的 人 脸 区 域 。 

2. 基于 人 脸 特 征 的 自 底 向 上 的 方法 

这 种 思想 首先 用 各 种 数字 图 像 的 处 理 方法 对 输入 图 像 进行 处 理 ， 根 据 处 理 结果 提取 出 来 
的 某 些 特征 与 人 脸 的 某 些 共性 进行 比较 ， 借 此 来 判断 某 一 区 域 是 否 为 人 脸 。 举 例 来 说 ， 可 以 
用 数字 图 像 处 理 中 常用 的 提取 边界 的 方法 在 输入 图 像 中 寻找 边界 ， 然 后 试探 哪些 边界 能 够 像 
正面 人 脸 的 左边 线 、 右 边线 和 发 医 线 那样 构成 人 脸 轮 廓 ; 还 可 以 利用 从 图 像 中 提取 出 来 的 色 
彩 和 纹理 信息 与 人 脸 的 色彩 和 纹理 模型 进行 比较 ， 得 出 可 能 的 人 脸 区 域 。 当 然 ， 各 种 人 脸 特 
征 的 综合 运用 ， 对 于 提高 检测 算法 的 性 能 会 有 很 大 的 帮助 。 

3. 模板 匹配 的 方法 
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首先 ， 建 立 并 存储 一 些 人 脸 模 板 作为 标准 ， 可 以 包括 正面 人 脸 或 是 单独 的 眼睛 、 自 子 、 
嘴 。 利 用 一 些 算法 来 计算 各 待 测 区 域 与 标准 模板 的 相似 程度 (或 称 为 相关 性 )。 利 用 这 一 详 
细 程 度 来 判断 某 一 区 域 是 否 为 人 脸 。 

4. 基于 人 脸 外 观 的 方法 

这 种 思想 是 指 通过 搜集 大 量 的 人 脸 和 非 人 脸 样 本 作为 训练 集 ， 用 人 工 神经 元 网 络 、 文 持 
向 量 机 (SVM) 等 方法 训练 出 一 个 分 类 需 来 检测 人 脸 。 这 种 思想 与 其 他 思想 的 不 同 之 处 在 
于 ， 它 并 不 首先 人 工地 对 人 脸 进 行 分 析 或 是 抽取 模板 ， 也 不 对 输入 图 像 进行 复杂 的 处 理 ， 而 
是 利用 大 量 的 人 脸 整 体外 观 ， 用 结构 化 的 方法 来 训练 出 人 脸 检测 的 分 类 器 。 在 这 一 类 方法 
中 ,特征 向 量 、 统 计 学 、 信 息 学 等 思想 也 得 到 了 运用 。 

上 述 各 种 方法 都 存在 着 自身 的 优 缺 点 和 适用 领域 ， 很 多 学 者 在 各 自 所 面临 问题 的 范围 内 
不 断 探索 ， 发 明了 许多 卓有成效 的 检测 算法 。 但 各 种 检测 算法 都 存在 着 效率 与 性 能 上 的 矛 
慎 ， 也 即 在 正确 率 、 重 棒 性 等 方面 更 好 的 算法 往往 会 花费 更 多 的 时 间 及 系统 消耗 。 

5. 基于 肤色 的 人 脸 检 测算 法 

上 面 在 对 人 脸 检 测 方法 进行 综述 的 过 程 中 ,采取 的 分 类 原则 主要 是 从 研究 方法 的 角度 出 
发 。 当 然 ， 分 类 原则 不 同 ， 自 然 会 产生 不 同 的 分 类 结果 。 例 如 ， 若 以 检测 过 程 中 是 否 利 用 了 
色彩 或 肤色 信息 ， 可 以 分 为 给 予 彩 色 信 息 的 人 脸 检 测算 法 、 基 于 灰 度 信息 的 人 脸 检 测算 法 及 
彩色 信息 与 灰 度 信息 相 结合 的 人 脸 检测 算法 ; 在 彩色 信息 与 灰 度 信 息 相 结合 的 人 脸 检 测算 法 
中 ， 又 可 以 根据 如 何 应 用 肤色 信息 这 一 角度 再 进行 细 分 。 例 如 ， 可 以 分 为 肤色 信息 作为 前 期 
预 处 理 的 方法 、 肤 色 信 息 作为 后 期 验证 的 方法 等 。 

由 于 本 节 所 采取 的 人 脸 检 测算 法 正 是 基于 肤色 算法 的 改进 ， 所 以 下 面 首 先 对 于 肤色 人 脸 
检测 算法 进行 详尽 的 阐述 。 

(1) 色彩 空间 与 色彩 空间 的 聚 类 ”根据 计算 机 色彩 理论 ， 对 一 种 颜色 而 言 ， 在 计算 机 
中 有 不 同 的 表达 方式 ， 这 样 就 形成 了 各 种 不 同 的 色彩 空间 。 当 然 各 种 色彩 空间 都 只 不 过 是 颜 
色 在 计算 机 内 不 同 的 表达 形式 而 已 ， 每 一 种 色彩 空间 也 都 有 其 各 自 的 产生 背景 、 应 用 领域 
等 。 主 要 的 色彩 空间 有 以 下 几 种 : 

1) RGB 格式 ( 红 、 绿 、 蓝 三 基色 模型 )， 由 于 彩色 图 像 是 多 光谱 图 像 的 一 种 特殊 形式 ， 
对 应 于 人 类 视觉 的 三 基色 即 红 、 绿 、 蓝 三 个 波段 ， 是 对 人 有 眼 的 光谱 量化 性 质 的 近似 。 因 此 利 
用 R、G、B 三 基色 这 三 个 分 量 来 表征 颜色 是 很 自然 的 一 种 格式 。 而 且 多 数 的 图 像 采集 设备 
ABE DAH RG aE (CCD) 技术 为 核心 ， 直 接 感 知 色彩 的 R、G、B 三 个 分 量 ， 这 也 使 得 
三 基色 模型 成 为 图 像 成 像 、 显 示 、 打 印 等 设备 的 基础 ， 具 有 十 分 重要 的 作用 。 

2) SHI 格式 ( 色 度 、 饱 和 度 、 亮 度 模型 ) : 这 是 Munseu 提出 的 色彩 系统 模型 ， 经 常 为 
艺术 家 们 所 使 用 。 这 种 格式 反映 了 人 类 观察 色彩 的 方式 ， 同 时 也 有 利于 图 像 处理 。 在 对 色彩 
信息 的 利用 中 ， 这 种 格式 的 优点 在 于 它 将 亮度 (1) 与 反映 色彩 本 质 特性 的 两 个 参数 一 一 色 
E (CH) 和 饱和 度 (S) 一 一 分 开 。 当 提取 一 类 物体 〈 比 如 现在 研究 的 人 脸 ) 在 色彩 方面 的 
特性 时 ， 经 党 需要 了 解 其 在 某 以 色彩 空间 的 聚 类 特性 ， 而 这 一 聚 类 特性 往往 体现 在 色彩 的 本 
质 特性 上 ， 而 又 经 常 受到 光照 明暗 等 条 件 的 干扰 影响 。 光 照明 暗 给 物体 颜色 带 来 的 直接 影响 
就 是 亮度 (1) 分 量 ， 所 以 寿 能 将 亮度 分 量 从 色彩 中 提取 出 来 ， 而 只 用 反映 色彩 本 质 特性 的 
色 度 、 饱 和 度 来 进行 聚 类 分 析 ， 会 获得 比较 好 的 效果 。 这 也 正 是 SHI 格式 在 彩色 图 像 处 理 和 
计算 机 视觉 研究 中 经 常 被 使 用 的 原因 。 
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3) YC,C, (YUV) 格式 : 这 种 色彩 空间 是 以 演播 室 质量 标准 为 目标 的 CCIR601 编码 方 
案 中 采用 的 彩色 表示 模型 ， 被 广泛 地 应 用 在 电视 的 色彩 显示 等 领域 中 。 它 同样 具有 SHI 格式 
中 将 亮度 分 量 分 离 的 优点 ， 但 由 于 它 可 以 从 RGB 格式 线性 变化 得 到 ， 所 以 直接 应 用 于 物体 
色彩 聚 类 分 析 的 情况 不 多 ， 相 比 之 下 ， 在 其 基础 上 的 变换 模型 的 应 用 更 为 普遍 。 

以 上 介绍 了 在 计算 机 视 党 领域 特别 是 在 肤色 信息 的 提取 中 比较 常用 的 几 种 格式 ， 目 前 这 
几 种 色彩 空间 在 建立 物体 色彩 模型 中 都 有 应 用 。 例 如 : RGB 色彩 空间 在 利用 查找 表 建 立 的 
肤色 模型 中 很 常见 ; 也 有 人 在 提取 展 色 在 色彩 空间 中 的 聚 类 特性 时 直接 利用 了 YUV 
(YC,C,) 色彩 空间 ;A. K. Jain 等 利用 变型 的 YC,C, 色彩 空间 进行 彩色 图 像 中 的 人 脸 检 测 问 
题 的 研究 。 

(2) 肤色 模型 的 建立 ”肤色 模型 描述 给 定 色 度 空间 R (n =2 Ben =3) 中 的 像素 x eR” 
与 “肤色 ”的 相似 程度 和 的 映射 关系 为 #4 wx-*A。 传 统 的 建 模 方法 是 选取 大 量 的 肤色 像素 样 
本 ,将 其 映射 到 给 定 的 色 度 空 间 后 ， 利 用 统计 的 方法 得 到 上 述 映 射 关系 。 描 述 映 射 关 系 常 用 
的 模型 有 高 斯 模型 、 混 合 高 斯 模型 及 直方 图 模型 等 ， 为 了 消除 光照 的 影响 ， 一 般 去 掉 色 度 空 
间 的 亮度 分 量 。 但 是 这 种 方法 仅 考 虑 了 单个 肤色 像素 的 统计 特性 ， 没 有 考虑 人 脸 肤色 区 域 像 
素 间 的 相关 性 ; 同时 除去 亮度 分 量 虽 然 提 高 了 模型 对 光照 变化 的 适应 能 力 ， 但 也 会 造成 错误 
报警 的 增加 。 基 于 高 斯 模型 合成 的 肤色 模型 ， 该 模型 考虑 了 人 脸 肤 色 区 域 像 素 的 整体 特性 ， 
为 各 个 人 脸 样本 的 肤色 分 别 建立 三 维 高 斯 模型 ， 然 后 将 各 个 模型 到 加 ， 并 映射 到 一 个 三 维 查 
找 表 中 ， 构 成 通用 的 肤色 模型 。 

首先 ， 为 手工 选取 的 每 个 人 脸 样 本 的 肤色 区 域 建立 模型 。 使 用 了 锥 形 展开 的 SHI 色 度 空 
间 。 考 虑 RGB 格式 的 真 彩色 图 像 ， 首 先 将 其 变换 到 SHI 色 度 空间 : 


































































































R+G+B 
poe 
H= 7190 - arctan( F/y3) + {0,G >B;180,G>B} ] 
(4-1) 
pak -G-B 
G-B 
SHI 色 度 空间 实际 上 是 一 个 锥 形 的 坐标 系 , 将 其 展开 为 直角 坐标 系 ,得 
[=] 
了 =IScosH (4-2) 
Y, =/SsinH 


就 变换 为 锥 形 展开 的 SHI 色 度 空间 。 其 中 各 分 量 的 取 值 范 围 分 别 为 和 se[ - 255,255] Ye 
[ $255 255 Ali e [0,255]。 

通过 实验 可 以 发 现 ， 单 个 人 脸 的 肤色 区 域 中 的 像素 在 该 色 度 空间 中 大 致 符合 二 维 高 斯 分 
布 ， 因 此 使 用 二 维 高 斯 分 布 模型 为 每 个 人 脸 样 本 的 肤色 建 模 。 

对 于 肤色 光谱 反射 曲线 而 言 ， 人 类 的 自然 肤色 具有 形状 与 走向 规律 的 共同 特点 : 短波 范 
围 反射 率 较 低 ， 随 着 波长 的 增长 ， 反 射 率 逐 步 升 高 ， 在 500 ~ 600nm 之 间 有 一 个 陡 升 ， 人 脸 
样本 的 色差 分 布 相对 集中 。 但 由 于 分 布 范 围 的 跨度 较 大 ， 为 了 保证 算法 对 不 同 种 类 的 视频 都 
具有 适应 性 ， 肤 色 检 测 吉 的 范围 相对 要 取得 大 一 些 。 
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用 一 个 二 维 高 斯 分 布 描述 如 下 : 


PY) = 元 Tem( - (H-H) E Cp po) ) 





(4-3) 


1 N 
Mo = (Xo ,yo ) ,Xo = NÈ toy 





iw 
y= yd Hy, — My) CH; -= Mo)” p4; = (x;,y;) 





E RRE ae A E Aa] D 满足 
| pCa, y)dxay =0.95 (4-4) 


若 像 素 P, 的 色差 值 在 范围 D 内 ， 则 认为 像素 为 肤色 像素 。 当 区 域内 标记 为 肤色 像素 
的 百分比 超过 p > 7, 时 ， 则 认为 该 块 区 域 可 能 为 人 脸 区 域 。 通 常 取 了 =0.7。 

为 单个 人 脸 样 本 建立 肤色 高 斯 模型 具有 如 下 作用 : 中 由 于 各 个 人 脸 样 本 存在 尺度 等 差 
异 ， 其 中 肤色 区 域 的 像素 数 有 很 大 不 同 ， 如 果 直 接 利 用 肤色 像素 建立 “肤色 ”直方 图 ， 则 
每 个 人 脸 样 本 的 贡献 是 不 同 的 (尺度 大 的 ,贡献 大 ) ， 这 显然 是 不 合理 的 。 为 每 个 人 脸 样本 
建立 高 斯 模型 的 方法 则 消除 了 上 述 差异 ， 起 到 了 样本 归 一 化 的 作用 。@ 由 于 肤色 区 域 中 不 可 
避免 地 存在 噪声 〈 例 如 由 于 图 像 采 样 引入 介 于 “肤色 ”与 “背景 色 ” 之 间 的 像素 ) WR 
直接 使 用 区 域 中 的 像素 建立 “肤色 ”直方 图 ， 这 些 噪声 与 正常 的 “肤色 ” 符 加 在 一 起 ， 难 
以 去 除 。 使 用 高 斯 模型 则 可 以 通过 阐 值 的 方法 在 合成 之 前 将 这 些 噪声 滤 除 。@@ 由 于 图 像 采 样 
和 量化 等 因素 的 影响 ， 人 脸 样本 的 肤色 像素 在 色 度 空间 中 的 分 布 可 能 不 连续 ， 反 映 在 直方 图 
中 就 是 在 “肤色 ”区 域内 存在 一 些 “ 空 洞 "。 高 斯 模型 将 填补 这 些 “ 空 洞 ”"， 其 物理 意义 就 
是 假设 单个 人 脸 的 皮肤 颜色 在 色 度 空间 中 为 连续 分 布 。 善 遍 认为 该 假设 是 切合 实际 的 。 

(3) 肤色 算法 的 改进 ”传统 上 人 脸 定位 多 在 亮度 空间 ， 由 于 没有 任何 区 域 或 比例 的 限 
制 ， 必 须 做 多 尺度 空间 的 全 搜索 ， 运 算 量 相当 大 ， 而 利用 色 度 信息 可 以 大 大 降低 搜索 区 域 ， 
肤色 信息 是 最 直接 有 效 的 ， 肤 色 检 测 可 以 在 多 个 色 度 空间 中 进行 ， RGB 归 一 化 、SHI、 
CYMK, YC,C, 方法 等 。 本 节 中 选用 YCC, 空间 来 作为 检测 空间 ， 该 空间 的 优点 是 受 亮度 变 
化 的 影响 较 小 ， 且 是 两 维 独立 分 布 ， 和 通用 视频 输入 源 的 格式 一 致 ， 无 须 额 外 作 色 度 空 间 的 
变换 。 

选用 的 颜色 空间 是 CCIR 601 推荐 标准 采用 的 彩色 空间 。 在 这 个 彩色 空间 中 ， 每 个 分 量 、 
每 个 像素 的 电 平 规定 为 255 级 ， 用 8bit 代码 表示 。 从 RGB 转换 成 YC,C, 空间 时 ,使 用 下 面 
精确 的 转换 关系 : 






























































Y =256E, 
C, =256[ E'C, ] +128 (4-5) 
C, =256[ E'C,] +128 
式 中 ， 亮 度 电 平 EY MEARE EC, A E'C, 分 别 是 CCIR 601 定义 的 参数 。 由 于 E, 的 范围 
是 0~1,E'C, 和 E'C, 的 范围 是 -0.5 ~ +0.5, ALY, C, A C, 的 最 大 值 必须 达到 255, F 
是 RGB 和 YC,C, 之 间 的 转换 关系 需要 按照 下 面 的 方法 计算 。 
1) 从 RGB 转换 成 YC,C,: YC,C, (256 级 ) 分 量 可 直接 从 用 8bit 表示 的 RGB 分 量 计算 
得 到 ， 即 
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Y =0. 299R +0. 587G +0. 114B 
C, = -0. 1687R -0. 3313G +0. 5B +128 (4-6) 
C, =0. 5R -0. 4187G - 0. 0813B +128 
2) KYC,C, 转换 成 RGB: RGB 分 量 可 直接 从 用 8bit 表示 的 YC,C, 分 量 计算 得 到 ， 
R=Y+1.402(C, -128) 
G =Y -0. 34414(C, -128) -0.71414(C, - 128) (4-7) 
B=Y+1.772(C, -128) 




















经 过 统计 证 明 ， 不 同人 种 、 不 同 环境 下 的 肤色 区 别 主 要 受 亮 度 影响 ， 受 色 度 影响 较 小 ， 
YC,C, 空间 下 肤色 的 统计 分 布 如 图 4-1、 图 422 所 示 。 
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图 系列 1 
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图 4-1 肤色 的 C, 分 量 统 计 分 布 
图 系列 1 




















图 42 ”肤色 的 C, 分 量 统计 分 布 





本 节 采 用 通用 阔 值 方法 对 肤色 区 域 进行 判 决 ， 对 于 图 像 中 每 一 个 像素 (i, j) ， 有 
/fl GGJ) el77,127] 有 C.(i,) e [133,173] 
M(i,j) = 其 他 (4-8) 
这 样 将 图 像 转变 成 一 个 二 值 图 像 。 图 4-3 所 示 即 为 肤色 检测 的 结果 ， 白 色 的 区 域 就 是 肤 


色 区 域 。 























图 4-3 原始 图 像 与 肤色 检测 结果 
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4.1.2 人 脸 跟踪 方法 


人 脸 跟 踊 与 人 脸 检测 有 着 明显 的 不 同 ， 人 脸 检 测 的 目的 是 在 静止 图 像 中 定位 人 脸 区 域 ; 
而 在 人 脸 跟 踪 中 ， 跟 踪 算 法 必须 在 后 续 序 列 帧 中 跟踪 已 定位 人 脸 的 运动 。 双 有 眼 、 嘴 等 人 脸 融 
官 特征 明显 ， 在 视频 序列 中 ， 它 们 的 形状 特征 基本 不 变 。 早 期 人 们 对 于 人 脸 图 像 的 研究 大 多 
集中 在 人 脸 识别 领域 ， 直 到 20 世纪 80 年 代 末 、90 年 代 初 ， 才 把 注意 力 转向 人 脸 检测 与 跟 
踪 这 一 更 具 普 遍 性 的 问题 上 来 。 起 初 着 重 于 静止 图 像 (如 照片 ) 中 的 人 脸 检 测 ， 而 对 人 脸 
跟踪 的 研究 做 得 很 少 ， 并 且 常 将 人 脸 检 测 与 跟踪 割裂 开 来 ， 作 为 两 个 独立 的 方面 分 别 加 以 研 
究 。 随 着 可 视 电 话 、 视 频 电 视 会 议 以 及 人 机 交互 等 技术 的 发 展 ， 人 们 才 开 始 将 人 脸 检测 与 跟 
踪 作 为 统一 的 整体 加 以 研究 。 

人 脸 跟 踪 问 题 的 挑战 性 来 自 两 个 方面 : DD 人 脸 属 于 三 维 非 刚体 ， 它 的 视图 不 但 受到 光 
照 、 遮 挡 等 外 界 因素 的 影响 ， 也 因 自 吴 的 变化 〈 如 表情 、 位 姿 等 变化 ) 而 改变 ， 而 且 这 些 
变化 难以 预测 或 建 模 ; @ 人 脸 跟踪 具有 实时 性 的 要 求 ， 限 制 了 跟踪 方 法 的 复杂 性 。 因 此 ， 人 
脸 跟 踪 方 法 大 多 针对 某 些 特定 场景 (如 工作 台 前 的 人 脸 等 )。 根 据 利 用 特征 的 不 同 ， 可 以 将 
人 脸 跟 踪 方 法 分 为 基于 运动 信息 的 方法 和 基于 静态 特征 的 方法 两 类 。 

人 脸 跟 踪 技 术 就 是 根据 已 定位 出 的 人 脸 ， 在 运动 图 像 的 后 续 帧 中 跟踪 该 人 脸 的 运动 。 它 
是 计算 机 视觉 领域 中 重要 的 研究 课题 。 目 前 人 脸 跟踪 与 人 脸 检 测 已 成 为 许多 研究 领域 内 的 关 
键 技术 。 如 在 智能 人 机 接口 中 ， 如 果 系 统 不 能 对 人 脸 进行 自动 检测 和 跟踪 ， 而 是 将 人 严格 限 
制 在 摄像 机 前 ， 显 然 是 令 人 难以 接受 的 。 较 早 开 展 人 脸 检 测 与 跟踪 研究 的 是 美国 卡 内 基 梅 隆 
大 学 (CMU) 的 人 机 接口 研究 室 和 MIT 的 AI 实验 室 及 媒体 实验 室 。 

人 脸 跟 踪 分 单 脸 跟踪 和 多 脸 跟 踪 。 它 主要 有 3 种 情况 : 第 一 种 是 人 脸 不 动 ， 摄 像 机 运 
动 ; 第 二 种 是 摄像 机 不 动 ， 人 脸 运 动 ; 第 三 种 是 人 脸 和 摄像 机 都 运动 。 从 应 用 角度 来 看 ， 第 
一 种 情况 受到 的 约束 较 多 ， 而 第 三 种 情况 则 具有 普 适 性 。 在 实时 的 人 脸 跟踪 系统 中 ， 实 时 性 
是 人 们 对 系统 的 基本 要 求 。 

L. P. Bala 等 人 利用 视频 的 前 后 景 分 析 ， 并 结合 彩色 信息 对 整体 人 脸 进行 跟踪 ， 同 时 使 
用 块 匹 配对 双眼 进行 快速 跟踪 。M. Hunke 等 人 利用 彩色 信息 和 运动 信息 ， 实 现 了 视频 中 实 
时 的 人 脸 跟踪 。J. Yang 等 人 完成 了 类 似 工作 ， 且 跟踪 中 不 断 修正 肤色 模型 ， 并 对 人 脸 进行 
运动 预测 。Gao Wen EAX N. Oliver 等 利用 彩色 信息 对 人 脸 进 行 可 靠 跟踪 。B. Menser 等 人 
则 利用 YC,C, 建立 肤色 概率 模型 ， 采用 主 元 分 析 法 (Principal Component Analysis, PCA) 进 
行 快速 定位 和 人 脸 跟踪 。K. Sobottka 等 人 在 HSV 空间 进行 肤色 分 割 ， 并 利用 脸 部 特征 的 对 
称 性 定位 人 脸 ， 然 后 利用 Snake 算法 对 整体 人 脸 进行 主动 轮廓 跟踪 。G. D. Hager 等 人 建立 了 
整体 人 脸 的 低 阶 参数 模型 ， 补 偿 形 变 与 光照 ， 实 时 跟踪 人 脸 ， 并 可 容忍 部 分 遮挡 。 
P. M. Antoszezyszyn 等 人 利用 基于 模板 匹配 的 PCA 方法 ， 对 人 脸 需 官 实现 了 高 精度 、 近 实时 
的 跟踪 。J. Strom 等 人 对 人 脸 上 的 特征 点 进行 归 一 化 相关 跟踪 ， 进 而 调整 人 脸 的 三 维 模型 ， 
预测 新 的 人 脸 位 置 ， 在 灰 度 空间 实现 了 对 复杂 运动 人 脸 的 高 精度 实时 跟踪 。C. Kervrann 等 人 
利用 需 官 的 多 级 马尔 可 夫 模 型 ， 同 样 获得 了 准确 的 跟踪 结果 。 

综 上 所 述 ， 人 脸 跟 踪 算 法 的 思路 可 以 归结 为 以 下 5 种 : 利用 背景 信息 跟踪 。 这 种 方法 
运算 十 分 简单 ， 但 受 背 景 变化 的 影响 。@ 利 用 运动 信息 跟踪 。 这 种 方法 运算 简单 ,但 受 背景 
的 运动 和 跟踪 对 象 运动 强度 的 影响 ， 比 如 当 人 脸 很 缓慢 运动 时 ， 跟 踪 可 能 失败 。@@ 利 用 彩色 
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信息 跟踪 。 这 种 方法 不 受 人 脸 姿态 限制 ， 运 动 复杂 度 小 ， 但 受 背 景 中 的 肤色 区 和 人 体 其 他 肤 
色 区 的 影响 及 光照 颜色 的 影响 。@ 利 用 整体 人 脸 的 模板 或 参数 模型 进行 相似 跟踪 。 这 种 方法 
错误 跟踪 的 可 能 性 小 ， 但 对 人 脸 姿 态 有 一 定 限制 ， 同 时 运算 复杂 上 度 较 大 。(® 利 用 人 脸 的 局 部 
特征 (例如 嘴 ) 进行 相似 跟踪 。 这 种 方法 跟踪 精度 很 高 ， 计 算 量 也 小 ,但 由 于 处 理 区 域 较 
小 , 一 旦 局 部 特征 变化 ， 跟 踪 就 可 能 失败 ， 所 以 鲁 棒 性 较 差 。 

通过 比较 可 以 看 出 : 人 脸 跟 踪 精 度 最 高 的 方法 是 利用 局 部 特征 进行 相似 跟踪 ; 错误 跟踪 
可 能 性 最 小 的 方法 是 对 整个 人 脸 进 行 相似 跟踪 ; 彩色 跟踪 效率 较 高 ， 使 用 最 广泛 ， 且 往往 可 
以 与 其 他 方法 相 结合 ; 利用 运动 信息 和 背景 信息 的 方法 效率 也 很 高 ， 但 几乎 不 能 独立 使 用 。 

1. 基于 运动 信息 的 方法 

此 类 方法 主要 利用 人 脸 的 运动 特征 ,将 人 脸 跟踪 看 作 运 动 目标 的 检测 问题 。Hager 等 提 
出 了 一 种 基于 几何 参数 模型 的 方法 ， 基 本 思路 是 : 设 定 被 跟踪 人 脸 的 运动 模型 (如 纯 平 移 - 
旋转 -尺度 、 仿 射 变 形 等 ) ， 利 用 时 间 - 空 间 梯度 以 及 模型 之 间 的 约束 关系 恢复 模型 参数 ， 从 
而 将 运动 人 脸 的 跟踪 转化 为 参数 的 估计 问题 。Hager 等 讨论 了 多 种 运动 模型 ， 并 提出 了 光照 
变化 和 部 分 遮挡 情况 的 解决 方法 。 该 方法 对 于 单个 运动 人 脸 的 跟踪 达到 了 30Hz 的 处 理 速 
度 。 此 外 还 有 基于 差分 的 方法 。 如 果 摄 像 机 本 里 也 是 运动 的 ， 采 用 差分 方法 还 需要 解决 背景 
运动 的 补 傍 问 题 。 

基于 运动 的 方法 往往 需要 知道 第 一 帧 中 人 脸 的 准确 位 置 ， 即 “锁定 ”人 脸 。 这 需要 采 
用 交互 方式 或 使 用 人 脸 检 测 技术 。 

2. 基于 静态 特征 的 方法 

此 类 方法 利用 肤色 、 灰 度 分 布 等 人 脸 本 身 的 特征 ， 在 每 一 帧 中 检测 人 脸 ， 同 时 利用 帧 与 
帧 之 间 所 包含 的 约束 信息 减 小 搜索 空间 。 

基于 肤色 特征 的 方法 ， 由 于 具有 处 理 速 度 快 等 优点 ， 常 用 于 人 脸 跟 踪 ， 一 般 需要 与 其 他 
方法 相 结合 ， 以 防 与 其 他 具有 类 似 色 彩 的 物体 相 混 消 。Kumar 等 利用 上 一 帧 的 跟踪 结果 预测 
新 一 帧 中 人 脸 的 位 置 范围 ， 采 用 肤色 模型 与 支持 向 量 机 分 类 需 相 结合 的 方法 检测 人 脸 ， 从 而 
实现 人 脸 的 实时 跟踪 。Yoo 等 使 用 肤色 模型 与 椭圆 拟 合 相 结合 的 方法 跟踪 人 脸 。Huang 等 采 
用 肤色 模型 与 变形 模板 相 结 合 的 方法 跟 踊 多 个 人 脸 。 由 于 跟踪 过 程 中 人 上 脸 的 颜色 可 能 因 光 照 
的 变化 而 改变 ， 因 此 也 提出 了 一 些 颜色 补偿 方法 ， 如 Yang 等 提出 最 大 似 然 度 自 适应 方法 ， 
刘 明 宝 等 提出 线性 加 权 自 适应 模型 等 。 

此 外 ， 还 有 基于 灰 度 特征 的 方法 。 如 Sugiyama 等 提取 上 一 帧 中 跟踪 到 的 人 脸 区 域 作为 
模板 , 在 当前 帧 中 采用 子 空间 投影 (Subspace Projection ) 的 方法 搜索 匹配 人 脸 ; 邢 昕 等 使 
用 基于 形态 学 的 嘴 中 心 点 定位 技术 对 嘴 部 进行 跟踪 ， 进 一 步 实 现 整 个 人 脸 的 跟踪 ;Colmen- 
arez 等 采用 检测 与 匹配 人 脸 局 部 特征 的 方法 实现 人 脸 的 跟踪 。 

由 于 光照 等 因素 的 干扰 ， 跟 踪 得 到 的 人 脸 轨 迹 可 能 出 现 拌 动 和 跳跃 的 现象 ， 因 此 也 提出 
了 一 些 解决 方法 。 如 Qian 等 在 利用 肤色 特征 进行 跟踪 的 过 程 中 ， 使 用 线性 卡尔 曼 滤波 器 
(Linear Kalman Filter) 和 简单 的 非 线性 滤波 器 对 跟踪 得 到 的 人 脸 轨 迹 进 行 平 滑 。 

基于 静态 特征 的 方法 一 般 都 具备 检测 人 脸 的 能 力 ， 因 此 能 够 实现 自动 的 人 脸 跟 踪 系 统 。 

3. 人 脸 跟 踪 快 速算 法 的 提出 

人 脸 跟 踊 算 法 是 在 人 脸 检测 的 基础 上 进行 的 。 人 脸 跟踪 的 帧 类 型 分 为 检测 帧 和 跟踪 帧 两 
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(1) 检测 帧 “对 检测 帧 人 脸 椭圆 区 的 确定 方法 描述 如 下 : 

1) 对 检测 帧 进行 人 脸 检测 ， 得 到 人 脸 的 大 致 位 置 。 

2) 在 被 检测 到 的 人 脸 区 域 ， 利 用 人 脸 的 结构 关系 和 人 脸 需 官 的 水 平 投影 特点 ， 确 定 嘴 
区 和 脸 区 。 

3) 在 嘴 区 ， 应 用 数学 形态 学 运算 分 割 出 嘴 ， 并 利用 目标 聚 类 分 析 方 法 求 取 嘴 目 标的 参 
数 MouthObject。 

4) 以 嘴 为 基点 ， 并 利用 人 脸 结 构 的 对 称 性 ， 对 人 脸 结 构 进行 准确 定位 ， 得 到 人 脸 椭 圆 
区 ， 同 时 输出 人 脸 参 数 FaceParameter。 

5) 保存 上 述 各 参数 ， 作 为 相 邻 后 续 跟踪 帧 的 初始 参数 。 

(2) 跟踪 帧 ”对 跟踪 帧 人 脸 椭 圆 区 的 确定 方法 描述 如 下 : 

1) 用 相 邻 前 帧 输出 的 嘴 日 标 参 数 MouthObject 和 人 脸 参 数 FaceParameter 确定 当前 帧 的 
脸 区 和 嘴 区 : 当前 帧 嘴 区 的 中 心 点 与 相 邻 前 帧 的 嘴 中 心 点 在 空间 上 相对 应 ， 嘴 区 和 脸 区 的 尺 
才 与 相 邻 前 帧 的 相等 。 

2) 对 嘴 区 进行 数学 形态 学 运算 ， 分 割 出 最 大 的 目标 区 。 求 取 该 目标 区 的 表征 参数 : 周 
长 、 面 积 、 长 短 径 之 比 等 ， 然 后 将 其 与 相 邻 前 帧 的 嘴 相 匹配 。 如 果 不 匹 配 ， 则 说 明 该 目标 不 
是 嘴 ， 即 人 脸 跟踪 失败 ， 将 当前 帧 作为 检测 帧 ， 否 则 继续 进行 下 一 步 。 

3) 根据 脸 区 ， 用 人 脸 结构 准确 定位 方法 求 取 当前 帧 的 人 脸 椭圆 区 。 计 算 该 椭圆 区 与 相 
邻 前 帧 人 脸 椭圆 区 之 间 的 均 方 误差 ， 如 果 该 均 方 误差 大 于 某 贱 值 ， 则 该 椭圆 区 为 非 人 脸 区 ， 
人 脸 跟 踪 失 败 ， 将 当前 帧 作为 检测 帧 ， 否 则 继续 进行 下 一 步 。 

4) 输出 当前 帧 的 嘴 目 标 参 数 MouthObject 和 人 脸 参 数 FaceParameter， 作 为 下 一 帧 人 脸 
跟踪 的 初始 参数 。 


4.1.3 人 脸面 部 特征 的 提取 


在 人 脸 检测 与 人 脸 跟 踪 人 研究 的 基础 之 上 ， 从 实际 应 用 的 角度 出 发 ， 能 否 在 检测 到 的 人 脸 
中 提取 出 面部 的 特征 信息 ， 如 有 眼睛、 鼻子、 嘴 等 ， 对 于 基于 内 容 的 面部 特征 信息 服务 显得 万 
为 重要 。 本 节 介 绍 面部 特征 提取 的 方法 。 

1. 边缘 检测 

图 像 的 边缘 对 人 类 的 视觉 系统 具有 重要 意义 ， 它 是 人 类 判别 物体 的 重要 依据 ， 是 图 像 的 
最 基本 特征 。 边 缘 中 包含 着 景物 有 价值 的 边界 信息 ， 这 些 信 息 可 以 用 于 图 像 分 析 、 目 标识 别 
及 图 像 滤波 ， 并 且 通 过 边缘 检测 可 以 极 大 地 降低 后 继 图 像 分 析 处 理 的 数据 量 。 边 缘 存 在 于 目 
标 与 背景 、 目 标 与 目标 、 区 域 与 区 域 、 基 元 与 基 元 之 间 。 

物体 的 边缘 是 以 图 像 局 部 特性 的 不 连续 性 形式 出 现 的 ， 例 如 灰 度 值 的 突变 、 颜 色 的 突 
变 、 纹 理 结 构 的 突变 等 。 从 本 质 上 说 ， 边 缘 常 常 意味 着 一 个 区 域 的 终结 和 男 一 个 区 域 的 开 
台 。 图 像 的 边缘 有 方向 和 幅度 两 个 特性 。 通 常 ， 沿 边缘 走向 的 像素 变化 平缓 ， 而 垂 至 于 边缘 
走向 即 边缘 法 线 方向 的 像素 变化 剧烈 。 这 种 变化 可 能 呈现 阶 跃 型 、 房 顶 型 和 凸 缘 型 ， 如 图 
4-4 所 示 。 

这 些 变 化 分 别 对 应 景物 中 不 同 的 物理 状态 。 例 如 ， 阶 跃 型 变化 常常 对 应 目标 的 深度 或 反 
射 边界 ， 而 后 两 者 则 常常 反映 表面 法 线 方 向 的 不 连续 。 实 际 要 分 析 的 图 像 是 比较 复杂 的 ， 灰 
度 变化 不 一 定 是 上 述 的 标准 形式 。 例 如 ， 假 定 灰 度 呈 阶 跃 ， 而 实际 的 变化 出 现在 一 个 空间 范 
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围 ， 远 非 理 想 的 阶 牙 。 此 外 ， 实 际 图 像 不 可 避免 地 要 混 有 噪声 。 

边缘 是 指 位 于 两 个 具有 不 连续 灰 度 特性 域 之 间 的 边界 。 由 于 人 脸 表 情 图 像 具 有 足够 的 均 
匀 度 ， 因 此 可 以 只 在 灰 度 不 连续 性 的 基础 上 决定 两 个 区 域 之 间 的 边缘 。 边 缘 检测 就 是 寻找 灰 
度 值 发 生 急剧 变化 的 区 域 ， 可 
以 用 图 像 灰 度 的 一 阶 偏 微 分 
(梯度 算 子 V) 和 二 阶 偏 微分 
(HEMAT V ) 的 值 来 判 
定 边 缘 点 。 从 根本 上 说 ， 各 种 eT E 
边缘 检测 技术 的 基本 思想 就 是 ieee a de ae 
计算 局 部 微分 算 子 。 

在 图 像 处 理 技 术 中 ， 通 常用 边缘 点 勾画 出 各 个 物体 的 轮廓 ， 即 形成 边缘 图 。 如 果 一 个 像 
素 落 在 图 像 中 某 个 物体 的 边界 上 ， 那 么 它 的 邻 域 将 成 为 一 个 灰 度 级 变化 的 带 ， 表 示 这 种 变化 
最 为 有 效 的 两 个 特征 是 灰 度 的 变化 率 和 方向 ， 它 们 分 别 以 梯度 向 量 的 幅度 和 方向 来 表示 。 

利用 边缘 检测 算 子 可 以 检查 每 个 像素 的 邻 域 ， 并 对 灰 度 的 变化 率 进行 量化 ， 通 常 也 包括 
对 方向 的 确定 。 大 多 数 的 边缘 检测 方法 是 基于 方向 导数 手 模 求 卷 积 的 方法 ， 边 缘 算 子 主要 包 
括 : 

(1) Robert 边缘 算 子 ” 它 是 一 种 利用 局 部 差分 寻找 边缘 的 算 子 ， 由 下 式 给 出 : 

gj) =10 AG) -VE+IJ+l) 2 +l Gt) - VAG +1) }'7 (49) 
式 中 ,f(i,j) 为 点 (i,7) 的 像素 值 。 

(2) Sobel 边缘 算 子 ”图 4-5a、b 分 别 是 Sobel 边缘 算 子 的 两 个 卷 积 模板 。 图 像 中 的 每 一 
点 都 利用 这 两 个 核 做 卷 积 。 一 个 核对 垂直 边缘 的 响应 最 大 ， 而 另 一 个 对 水 平 边缘 的 响应 最 
大 ， 两 个 卷 积 的 最 大 值 作为 该 点 的 输出 值 ， 其 结果 就 是 一 幅 边 缘 幅 度 图 像 。Sobel 边缘 算 子 
具有 一 定 的 抑制 噪声 能 力 。 

(3) 拉 普 拉 斯 (Laplacian) 算 子 ” 它 是 一 种 不 依赖 于 边缘 方向 的 二 阶 微分 算 子 ， 具 有 旋 
转 不 变性 ， 即 各 向 同性 ， 其 卷 积 模板 如 图 4-6 所 示 。 其 公式 为 





























































































































YA LED, HED a0) 
ði oO] 
UH fi) ER (i) RAL 
Sai =9, a -1| 0 1 -1 | 0 1 
0 0 0 -2 0 2 -2 0 2 
1 2 1 -1 0 1 -1 0 1 
a) b) 
网 4-$ Sobel 边缘 算 子 的 卷 积 模板 图 4-6 Laplacian 边缘 算 子 
a) 卷 积 模板 1 b) 卷 积 模块 2 的 卷 积 模板 


另外 ， 还 有 Prewitt 边缘 算 子 、Canny 边缘 算 子 等 。 
本 节 边 缘 检 测 部 分 的 研究 中 采用 的 人 脸 图 像 是 美国 卡 内 基 梅 隆 大 学 (CMU) 康 - 卡 纳 得 
基于 动作 单元 的 人 脸 表 情 图 像 数 据 库 (Cohn-Kanade AU-Coded Facial Expression Image Data- 
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base, CKACFEID) 动态 图 像 序 列 中 的 单 巾 图像 ， 图 像 为 490 像素 x 640 像素 大 小 的 PNG 
(Portable Netarork Graphic， 流 式 网 络 图 形 格式 ) 格式 。 图 4-7a 所 示 是 原始 图 像 ， 图 4-7b 所 
示 是 利用 人 脸 图 像 的 垂直 和 水 平 灰 度 投影 
曲线 确定 脸 的 左右 边界 后 经 过 切割 的 人 脸 
图 像 ， 基 本 消除 背景 、 头 发 、 服 装 等 干 
扰 ， 保 留 了 面部 特征 的 主要 信息 。 

利用 以 上 的 边缘 算 子 对 图 4-7b HP 
割 后 的 人 脸 图 像 进 行 的 边缘 检测 及 其 反 色 
后 的 示意 图 如 图 4-8 所 示 。 
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Z 
an R ) b) 
图 4-8a ~e 所 示 分 别 是 Laplacian 边缘 $ 
GF. Roberts 边缘 算 子 、Sobel 边缘 算 子 、 at A 
Canny 边缘 算 子 、Prewitt 边缘 算 子 对 图 4- a) 原始 人 脸 图 像 b) 切割 后 的 人 脸 图 像 


7b 所 示 的 人 脸 表 情 图 像 进 行 的 边缘 提取 。 可 以 看 出 用 Sobel 边缘 算 子 、 Laplacian 边缘 算 子 
的 方法 提取 的 边缘 效果 较 好 ， 人 脸 的 特征 比较 明显 ， 并 且 不 包含 过 多 的 宛 余 信息 ， 有 助 于 特 
征 提取 的 准确 性 和 提高 表情 的 识别 率 。 
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图 4-8 利用 各 边缘 检测 算 子 得 到 的 边缘 图 像 
a) Laplacian 边缘 算 子 b) Roberts 边缘 算 子 c) Sobel 边缘 算 子 
d) Canny 边缘 算 子 e) Prewitt WAT 
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2. 面部 特征 数据 存储 (FDS) BA 

本 节 提 出 了 一 种 新 的 表征 人 脸面 部 特征 信息 的 数据 存储 格式 ， 即 为 面部 特征 数据 存储 格 
式 (Face Data Style) 。 这 种 数据 的 文件 格式 为 XML 文件 ， 它 所 包含 的 元 素 主 要 为 面部 器 官 
的 相关 数据 ， 包 括 几 何 位 置信 息 和 颜色 信息 。 

当然 ， 实 现 面部 特征 信息 有 效 存储 的 嘴 的 关键 一 步 是 面部 器 官 的 有 效 定 位 。 下 面 ， 本 节 
将 从 眼睛 、 自 子 、 嘴 这 三 个 最 重要 的 器 官 来 阐述 人 脸 特征 定位 的 方法 。 

(1) 眼睛 的 确定 ”由 于 眼睛 和 肤色 的 差异 较 大 ， 可 以 在 脸 部 区 域内 进行 边缘 检测 。 对 
检测 到 的 结果 进行 水 平方 向 的 投影 ， 基 本 就 能 确定 眼睛 在 水 平 轴 上 的 两 个 范围 1 和 II。 这 里 
虽然 有 眉毛 的 影响 ， 但 是 由 于 眉毛 正好 位 于 眼睛 的 上 方 ， 因 此 不 影响 水 平 区 域 的 确定 ， 如 图 
4-9 所 示 。 

然后 在 I 和 开 的 上 方 区 域 的 竖 直方 向 投 
影 ， 得 到 第 一 个 峰值 附近 的 区 域 为 A、B。 然 ARJA 左 眼 导 
后 在 A 与 I 及 B 与 工 确定 的 两 个 矩形 区 域内 ， 
对 黑 点 进行 区 域 膨 胀 ， 可 以 得 到 眼睛 的 大 致 
轮廓 和 左右 眼角 。 然 后 将 黑 点 的 坐标 的 平均 
值 作为 瞳孔 的 位 置 。 

这 里 的 粗 定位 方法 综合 考虑 了 前 人 方法 
的 优 缺 点 和 算法 的 复杂 性 程度 ， 利 用 人 脸 结 
构 特 点 的 先 验 知识 ， 用 一 种 基于 二 值 化 图 像 
的 方法 来 进行 眼睛 范围 的 初始 定位 。 粗 定位 
之 后 ， 要 精确 定位 眼球 圆心 的 位 置 ， 这 一 过 程 可 以 选用 几 种 方法 ， 其 中 基于 Hough ( 哈 夫 ) 
变换 法 是 比较 常用 的 方法 。Hough 变换 是 一 种 抗 噪 能 力 强 、 算 法 比较 简单 的 检测 给 定形 状 曲 
线 的 技术 。 

对 中 值 滤波 后 的 二 值 化 正面 人 脸 图 像 进行 水 平 灰 度 投影 ， 通 过 对 投影 曲线 的 分 析 可 知 ， 
人 脸 的 主要 器 官 眼 睛 和 嘴巴 的 位 置 分 别 对 应 曲线 的 两 个 谷 值 区 域 ， 由 此 可 以 粗略 地 检测 出 眼 
睛 (和 嘴巴 ) 的 位 置 ， 如 图 4-10 所 示 。 

实际 中 ， 由 于 成 像 情 况 的 复 














































































































图 4-9 ”眼睛 位 置 示意 图 































































































杂 性 、 噪 声 的 影响 及 二 值 化 阔 值 

的 选取 ， 代 表 眼 睛 和 嘴巴 的 谷 值 100} 

前 后 会 出 现 多 个 较 小 的 谷 峰 ， 这 soF= - 
样 ， 曲 线 所 对 应 的 坐标 位 置 就 会 n 

随 之 受到 影响 。 对 此 可 采用 如 下 A 

MIDER: IBE ERHET F f P 

滑 和 内 插 处 理 ， 滤 除 部 分 小 谷 20 40 60 80 100 120 140 
值 ， 并 根据 眼睛 位 置 的 先 验 几何 图 4-10 粗略 定位 眼睛 的 位 置 示意 图 


知识 排除 其 影响 。 

男 外 一 种 定位 眼睛 的 方法 是 采用 灰 度 投影 图 匹配 的 方法 。 先 是 从 经 过 中 值 滤波 后 的 二 值 
化 人 脸 图 像 的 顶点 万 向 下 逐步 移动 ， 每 次 在 该 点 放 一 水 平 缝隙 条 ; 然后 将 其 垂直 灰 度 投影 
图 与 图 4-11 所 示 的 人 了 眼 正 确 标 准 投 影 图 相 比 较 ， 从 而 判断 出 眼睛 的 位 置 。 
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还 有 可 以 通过 一 种 称 为 “或 投影 ”的 方法 求 得 眼睛 的 位 置 ?;1 。 这 种 方法 是 对 传统 的 几 
何 投影 方法 做 了 一 些 改进 ， 并 运用 于 人 眼 定 位 的 结果 。 这 种 
aie nemna emmen tenere llli ilill 
“投影 ”， 这 种 以 模式 / (x, y) 为 客体 ， 以 X 轴 为 投影 轴 的 。 加 4.11 人 眼 的 标准 投影 图 
投影 公式 如 下 : 











Ka) = U flay) (4-11) 


由 于 图 像 各 像素 间 是 一 种 求 或 的 关系 ， 而 不 是 传统 的 求 和 关系 ， 因 此 ， 若 将 双眼 的 边缘 
二 值 图 像 做 这 种 “或 投影 ”运算 ， 则 将 产生 两 条 水 平 短线 ， 且 短线 的 宽度 与 眼睛 的 宽度 基 
本 相等 〈 见 图 4-12) 。 当 然 检测 定位 眼睛 时 ， 必 须 加 入 基于 人 脸 先 验 的 几何 知识 ， 定 义 一 定 
的 规则 ， 确 定 是 否 是 真正 的 眼睛 。 

(2) 鼻子 的 确定 ”在 确定 了 眼睛 的 位 置 以 后 , BTM o> o> 
置 基 本 确定 ， 以 两 眼 的 瞳 距 为 1 来 计算 ， 鼻 子 到 两 眼中 心 的 
距离 为 0.7 ~1。 在 这 附近 搜索 颜色 较 深 的 区 域 ， 大 致 能 得 到 图 4-12 双眼 的 水 平 “ 或 投影 ” 
鼻孔 的 位 置 (对 于 侧面 图 ， 鼻 孔 不 可 见 ， 则 无 法 检测 出 来 )。 然 后 在 两 个 鼻孔 上 方 一 定 范围 
内 ( 自 孔 距离 的 1/2 左右 ) 找 亮 度 最 高 的 点 作为 鼻尖 。 

(3) RH TEE, EER OA ENA, UPR, WE PRA 
件 的 位 于 脸 的 下 部 的 区 域 可 能 是 嘴 ， 

0.5(2R-G-B) | 
(R-G)(R-G)+(R-B)(R-B) 

此 外 ， 嘴 到 两 眼中 心 的 距离 可 能 为 1.0 ~ 1. 3， 在 满足 条 件 的 区 域内 ， 采 用 类 似 搜 索 眼 
睛 的 方法 ， 进 行 区 域 膨胀 的 图 像 处 理 ， 确 定 左 右 嘴角 和 嘴 的 中 心 。 

人 脸 跟 踪 算 法 是 在 人 脸 检测 和 人 脸 结构 准确 定位 的 基础 上 ， 利 用 人 脸 结 构 和 器 官 的 特征 
实现 的 。 算 法 中 没有 用 到 序列 图 像 的 背景 信息 、 运 动 信息 以 及 颜色 信息 等 ， 因 此 人 脸 跟踪 不 
受 背 景 复杂 度 、 背 景 颜 色 、 人 脸 运 动 强度 等 因素 的 影响 。 当 前 帧 的 人 脸 位 置 由 前 一 帧 所 跟踪 
到 的 人 脸 位 置 来 预测 ， 而 无 须 在 整 幅 图 像 中 进行 人 脸 的 搜索 ， 提 高 了 人 脸 跟 踪 的 速度 。 


4.2 ”表情 识别 技术 


表情 识别 作为 人 工 心理 实现 的 主要 交互 技术 之 一 的 作用 是 ， 通 过 实时 、 准 确 地 识别 人 的 
表情 ， 判 断 出 人 当前 的 情绪 状态 ， 作 为 情感 计算 系统 中 情绪 模型 的 输入 值 。 同 时 ， 它 也 是 和 
谐 人 机 交互 领域 的 重要 技术 研究 方向 之 一 。 

4.2.1 表情 识别 方法 

表情 识别 的 方法 大 致 可 分 为 以 下 几 种 . 

1. 几何 特征 

一 般 说 来 ， 表 情 的 变化 主要 反映 在 眼眉 、 额 头 、 嘴 等 面部 区 域 的 形状 和 相对 位 置 的 变化 
上 。 所 以 ， 最 直接 的 就 是 提取 面部 的 几何 特征 来 识别 表情 : 它 的 基本 思想 是 利用 人 脸 的 结构 
特征 和 先 验 知识 ， 通 过 对 人 脸 表 情 的 显著 特征 ， 如 眼睛 、 和 上 鼻子 、 眉 毛 、 嘴 等 的 形状 和 位 置 变 
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化 进行 定位 和 测量 ， 确 定 其 大 小 、 距 离 、 形 状 和 相互 比例 的 特征 关系 ， 进 行 表 情 识别 。 这 类 
方法 的 特点 和 关键 就 在 于 对 面部 特征 点 的 精确 定位 上 。 对 面部 特征 点 的 定位 又 可 以 分 为 手工 
标定 和 计算 机 自动 标定 两 种 。 在 提取 了 特征 点 以 后 ， 在 通过 神经 网 络 等 一 些 方法 ， 对 它们 进 
行 训练 来 识别 表情 。 

Maja Pantic 和 Leon J. M. Rothkrantz 先 用 了 多 个 探测 需 进 行 面部 器 官 定 位 和 提取 了 它们 
的 边缘 。 然 后 提取 了 10 个 脸 部 轮廓 上 的 基准 点 和 19 个 面部 器 官 的 基准 点 。 脸 部 轮廓 和 面部 
器 官 特征 点 示意 图 如 图 4-13 所 示 。 在 此 基础 上 ， 分 析 并 记录 了 32 个 独立 的 面部 肌肉 运动 单 
元 的 运动 ,表情 识别 率 达 到 了 PI 
86% 。 

2. 频率 域 特征 

常用 的 一 种 频率 域 特 征 是 
Gabor 小 波 。 它 是 一 组 窗 带 人 带 通 
滤波 器 ， 在 空间 域 和 频率 域 均 有 
较 好 的 分 辨 能力， 有 明显 的 方向 
选择 和 频率 选择 特性 。 和 傅 里 叶 
变换 相 比 ， 表 情 图 像 的 Gabor 小 
波 分 解 是 一 种 局 部 变换 ， 因 此 某 
一 局 部 测度 的 范围 可 以 有 Gabor 
小 波 滤波 器 的 尺度 大 小 来 定义 。 
Jingfu Ye 等 对 人 脸 图 像 进行 表情 
区 的 分 割 和 归 一 化 ， 然 后 用 小 波 变换 提取 表情 区 的 特征 向 量 ， 最 后 识别 了 在 不 同 光 照 下 的 6 
种 表情 。 他 们 的 实验 证 明 ， 小 波 特 征 对 于 光线 变化 和 个 体 差 异 是 不 明显 的 。 

3. 运动 特征 

上 面 介绍 的 特征 提取 方法 是 针对 静态 图 像 ， 或 者 对 动态 图 像 序列 中 的 某 一 帧 进行 的 。 然 
而 ,表情 识别 的 最 大 特点 是 一 个 动态 变化 的 过 程 ， 心 理学 人 研究 表明 ， 尽 管 人 类 可 以 依据 一 幅 
静态 图 像 判 别 其 中 的 人 脸 表 情 ， 但 是 大 部 分 实验 者 在 识别 动态 序列 图 像 的 表情 时 ， 准 确 率 明 
显 增高 。 可 见 提取 动态 图 像 序列 的 运动 特征 ， 对 于 表情 识别 有 着 特殊 的 意义 。 

光 流 是 指 亮度 模式 引起 的 表面 运动 ， 是 景物 中 可 见 点 的 三 维 速度 问 量 在 成 像 平面 上 的 投 

影 ， 它 表示 了 景物 表面 上 的 点 在 图 像 中 位 置 的 瞬时 变化 ， 同 时 光 流 场 携带 了 有 关 运 动 和 结构 
的 丰富 信息 。 光 流 模 型 就 是 处 理 运动 图 像 的 有 效 方法 ， 其 基本 思想 是 将 运动 图 像 函 数 f (x, 
y, t) 作为 基本 函数 ， 根 据 图 像 强度 守恒 原理 建立 光 流 约束 方程 ,通过 求解 光 流 约束 方程 ， 
计算 运动 参数 。Y. Dai 等 利用 将 图 像 序列 中 连续 两 帧 的 差异 及 用 YIQ 表示 空间 中 的 1 分 量 相 
结合 ， 提 取出 了 人 脸面 部 运动 和 区 域 信息 ， 在 嘴 部 和 眼 部 的 光 流 投影 直方 图 中 ， 提 取 了 面部 
表情 的 运动 特征 ， 用 以 表情 识别 。 
对 输入 的 人 脸 图 像 ， 外 界 的 干扰 因素 一 般 是 比较 多 的 ， 采 用 灰 度 不 守恒 的 光 流 场 基本 方 
程 更 显得 合适 与 可 靠 。 实 验 表 明 ， 该 方法 具有 计算 精度 高 、 易 于 实现 等 优点 ， 有 一 定 的 实用 
价值 。 而 且 用 光 流 计算 的 方法 提取 其 运动 特征 ， 一 方面 反映 了 表情 的 变化 实质 ， 另 一 方面 特 
征 受 光照 不 均匀 性 的 影响 较 小 ， 只 要 保证 在 同一 组 图 像 序列 中 光照 强度 基本 不 变 即 可 ， 光 有 照 
条 件 对 各 组 之 间 的 影响 较 小 。 


































































































图 4-13” 脸 部 轮廓 和 面部 器 官 特 征 点 示意 图 
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4.2.2 人 脸面 部 的 特征 检测 及 表情 识别 


本 闻 提 出 了 基于 逐 点 搜索 的 算法 来 实现 这 一 目标 。 

逐 点 搜索 算法 : 在 整个 二 值 化 图 像 中 ， 从 左 到 右 、 从 上 到 下 依次 搜索 每 一 个 像素 点 ， 若 
是 白色 肤色 点 ， 则 进行 局 部 搜索 将 与 之 连通 的 整个 肤色 区 域 都 找 出 来 ， 并 将 搜索 过 的 区 域 标 
记 为 访问 过 ， 避 免 重复 访问 。 然 后 记录 这 一 连通 区 域 的 信息 ， 并 对 还 未 搜索 过 的 区 域 进行 搜 
索 。 这 样 ， 就 能 在 只 对 图 像 进行 一 次 访问 的 情况 下 ， 将 所 有 的 肤色 区 域 都 标记 出 来 ， 保 证 了 
整个 算法 的 时 间 性 。 

下 面 介 绍 整 个 识别 系统 的 流程 。 

1. 图 像 采 集 

硬件 方面 ， 通 过 市 面 上 销售 的 普通 CMOS 摄像 头 来 采集 图 像 ， 没 有 使 用 其 他 任何 特殊 硬 
件 。 软 件 方面 ， 考 虑 到 目前 大 部 分 系统 都 是 建立 在 Windows9x/WindowsNT/ Windows2000 平 
GER), Windows 良好 的 人 机 交互 界面 很 适合 于 图 像 处 理 与 识别 系统 的 应 用 ， 所 以 本 系统 采 
用 的 软件 编程 环境 是 基于 Windows2000 的 Visual C ++ 6.0， 它 是 基于 Windows 平台 的 一 个 集 
成 的 、 优 秀 的 开发 工具 。 而 且 由 于 Windows 把 位 图 (BMP) 作为 其 图 像 的 标准 格式 ， 内 含 
了 一 套 支 持 BMP 图 像 操作 的 应 用 程序 接口 (API) 函数 ，BMP 图 像 格式 越 来 越 多 地 被 各 种 
应 用 软件 所 支持 ， 各 种 流行 的 图 像 格 式 都 能 和 BMP 相互 转换 ， 所 以 本 系统 的 输入 图 像 也 采 
用 了 BMP 格式 图 像 。 

在 这 一 环境 下 ， 图 像 采 集 的 实现 步骤 如 下 : 

1) J] JH eK% capCreateCaptureWindow (NULL, WS CHILD | WS VISIBLE, 0, 0, 
320, 240, GetSafeHwnd (), 1) 来 创建 一 个 大 小 为 320 像素 x 240 像素 的 捕获 窗口 。 

2) 调用 因数 capDriverConnect (hCapt, i) 来 连接 摄像 头 驱动 程序 。 

3) JHK capDriverGetCaps (hCapt, &Drivercaps, sizeof (CAPDRIVERCAPS) ) 来 返 
回 摄像 头 的 性 能 。 

4) WH eK x capDlgVideoFormat (hCapt) 来 设置 视频 格式 。 

5) dal ek capGetVideoFormatSize (hCapt) 来 查看 视频 窗口 大 小 。 

6) dalek capPreviewRate (hCapt, 41) 来 设置 每 秒 的 显示 帧 数 。 

7) del A eK capPreview (hCapt, true) 将 显示 模式 设置 为 Preview 模式 ， 这 样 图 像 数 据 
从 摄像 头 采集 进来 后 ， 将 经 过 内 存 再 到 图 像 显示 设备 显示 。 这 样 ， 就 可 以 在 图 像 数据 通 过 内 
存 时 ， 对 图 像 信息 进行 处 理 ， 实 现 想 达 到 的 目标 。 

2. 人 脸 检 测算 法 的 实现 

首先 介绍 如 何 将 肤色 点 和 非 肤色 点 区 分 开 来 。 

1) 在 程序 中 ,设置 一 个 全 局 的 回调 函数 LRESULTCALLBACK OnFrame (HWNDhWnd, 
LPVIDEOHDRlpVHdr) ， 算 法 的 程序 就 在 这 个 函数 中 实现 。 

2) 通过 因数 capSetCallbackOnFrame (hCapt，OnFrame)， 调 用 该 回调 函数 ， 整 个 系统 的 
运行 框架 就 搭 好 了 ， 剩 下 的 就 是 在 函数 OnFrame 中 实现 人 脸 检 测 了 。 

3) 在 该 函数 中 ， 先 将 图 像 每 个 像素 点 的 RGB 分 量 依次 读 到 temp T、temp g, temp _ 
b 三 个 变量 中 。 再 按 式 (4-6) 将 其 转变 到 YCC, 色 度 空间 中 。 

4) 调用 肤色 模型 函数 skincolor (unsigned char * ptr, int width, int height) , 将 肤色 像素 
















































































点 赋值 为 1， 非 像素 点 赋值 为 0。 

在 将 肤色 点 与 非 肤色 点 分 开 以 后 ， 下 面 介绍 如 何 将 人 脸 图 像 标 记 出 来 。 

在 得 到 二 值 化 的 图 像 后 ， 因 为 人 脸 区 域 的 像素 点 赋值 为 1， 所 以 只 要 把 这 些 像素 点 所 在 
区 域 用 和 矩形 框 标记 出 来 就 行 了 。 

在 这 里 ， 本 节 基 于 逐 点 搜索 的 算法 来 实现 这 一 功能 。 

定义 了 一 个 数据 结构 myPoint: 

typedef struct 


| 








int pointx! ; 

int pointx2 ; 

int pointy! ; 

int pointy2 ; 
| myPoint; 

该 数据 结构 中 包含 4 个 点 : pointxl 、pointyl 分 别 返 回 和 矩形 框 的 左上 角 的 x、y 坐标 ， 
pointx2 pointy2 ANR FIL HE FARI x, y 坐标 。 定 义 了 返回 值 为 myPoint 类 型 的 函数 
FillRect: 

myPoint FillRect (int currentx, int currenty, int left, int right, int top, int bottom) 

在 该 函数 中 ， 将 逐 点 搜索 到 每 一 个 标记 为 1 的 像素 点 ， 并 记 下 它们 的 最 小 及 最 大 横 纵 坐 
标 值 ， 作 为 返回 值 。 一 般 的 逐 点 搜索 算法 是 利用 数据 栈 结构 来 存储 像素 点 ， 利 用 入 栈 出 栈 操 
作 来 逐 点 搜索 像素 点 。 但 这 一 方法 消耗 了 太 多 的 系统 资源 ， 很 难 满 足 对 于 实时 检测 的 要 求 。 
作者 改进 了 这 一 算法 ， 在 入 栈 操作 时 ， 以 一 行 像素 点 为 基础 ， 将 每 行 的 信息 入 栈 ， 极 大 地 提 
高 了 搜索 的 效率 ， 达 到 了 实时 的 要 求 。 

当场 景 中 有 多 个 人 脸 时 ， 就 不 能 只 标记 出 一 个 ， 而 是 要 把 所 有 的 人 脸 都 标记 出 来 。 本 闻 
定义 了 一 个 模板 类 型 的 队列 ; 

template <class Type > class Queue; 

在 程序 中 ， 生 成 了 一 个 myPoint 类 型 的 队列 : Queue < myPoint > queue; 这 样 通过 多 次 调 
用 FillRect 函数 rectsize = FillRect (i, 
j, 1, ISIZEX-1, 1, ISIZEY-1), ¥% 
每 一 个 人 脸 的 位 置信 息 都 存 人 该 队列 
queue. EnQueue (rectsize) 中 ， 在 位 
置信 息 出 队 时 ， 根 据 位 置信 息 ， 将 每 
一 个 人 脸 用 矩形 框 标记 出 来 。 这 样 就 
完成 了 人 脸 检 测 。 二 值 化 图 像 及 标记 
出 的 人 脸 位 置 如 图 4-14 所 示 。 

3. 面部 器 官 检 测 

(1) 面部 器 官 特征 点 定位 ”面部 
村 征 点 定位 有 很 多 方法 ， 但 很 多 都 是 
依靠 手工 在 图 片上 定位 ， 或 利用 特殊 
的 硬件 ， 比 如 红外 线 照射 、 用 发 光 二 图 4-14 ”二 值 化 图 像 及 标记 出 人 脸 位 置 
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极 管 贴 在 脸 部 ， 或 用 高 分 辩 率 的 摄像 机 等 方法 。 这 些 方法 要 么 对 于 实时 性 的 要 求 不 能 满足 ， 
要 人 么 不 能 满足 一 般 用 户 的 要 求 。 而 我 们 要 设计 一 个 能 被 普通 用 户 接 受 的 系统 ， 所 以 采用 的 是 
市 场 上 最 一 般 的 USB 〈 通 用 串 行 总 线 ) 接口 摄像 涉 ， 而 且 在 较 低 的 分 辨 灰 上 实现 了 我 们 的 
系统 。 

在 本 节 所 提出 的 特征 检测 算法 中 ， 眼 睛 的 定位 是 其 他 器 官 定位 的 基础 ， 因 为 眼睛 是 人 脸 
上 最 为 突出 而 且 稳定 的 特征 。 在 准确 定位 眼睛 的 基础 上 ， 又 对 嘴巴 、 眉 毛 和 上 鼻孔 进行 了 定 
位 。 因 为 在 检测 面部 器 官 时 ， 对 于 光线 均匀 分 布 的 要 求 比较 高 ， 所 以 在 定位 之 前 ， 需 要 先 对 
人 脸 图 像 进行 一 些 处 理 ， 以 平衡 光线 差异 和 消除 阴影 ， 使 光线 在 人 脸 上 的 分 布 较为 均匀 。 

本 节 所 采用 的 方法 是 直方 图 均衡 化 、 照 度 梯度 修正 “(Tllumination Gradient Correlation ) 
和 方 均 差 标准 化 来 实现 光线 的 平衡 化 。 

1) 直方 图 均衡 化 ， 直 方 图 均衡 化 (Histogram Equalization) 就 是 把 给 定 图 像 的 直方 图 分 
布 改 为 均匀 分 布 。 

设 图 像 有 工 级 灰 度 (0，1，2，…, L-1), n 为 图 像 像素 数 ，m 为 第 i 级 灰 度 的 像素 
数 ， 则 直方 图 均衡 化 将 第 级 的 灰 度 变换 为 L, B 


I, = (LD) (4-13) 


式 (4-13) 中 的 括号 内 的 数 要 四 舍 五 人 取 整 。 直 方 图 均衡 化 可 以 起 到 增强 图 像 的 作用 。 

2) 照度 梯度 修正 : 为 了 减少 非 正面 光照 对 人 脸 的 影响 ， 要 对 样本 图 像 进行 照度 梯度 修 
正 ， 即 用 图 像 的 灰 度 值 拟 合 出 一 个 校正 平面 ， 然 后 减 去 这 个 平面 。 

令 待 处 理 的 图 像 包 含 n RR, KEKI (x, y) (1T=1，2，…，Pm) ， 需 要 拟 合 的 平 
面 为 z=ajx +a,y +a, 此 平面 应 使 I (x;，Y;) 与 z 的 均 方差 最 小 : 























(a, ,aa ,03) = argmin | [ a,x; + ay; + a3 - 1,7) 1°} (4-14) 
aj ,42,43 isl 
由 最 小 二 乘法 解 得 
X=(A'A)'A'B (4-15) 
Xi N 1 
a, Xo Vo 1 I(x, oN) 
AY X= a, |;A=] >» i .|;B= T(x, ,y,) 
a, i : s I(x, ,ys) 
Xa Ya 1 





对 于 式 (4-15) 可 以 分 解 为 (424) A" 5 B WRR, FH (ATA) CA 仅 与 图 像 的 尺度 有 
关 , 将 人 脸 归 一 化 到 同一 尺度 ,就 可 以 首先 计算 (4.4) TAT 的 值 。 求 得 平面 后 ,将 图 像 中 的 各 
个 像素 与 其 相应 位 置 z 值 相 减 : 

T(x;,y;) =I(x;,y;) -z =1(4x;,y;) - (a,x; +ayi+a3) (4-16) 
照度 梯度 修正 消除 了 图 像 的 一 阶 变化 量 ， 很 大 程度 上 减少 了 脸 部 的 阴影 。 

3) 方 均 差 标 准 化 : 为 了 进一步 增强 人 脸 模式 的 紧 致 性 ， 对 图 像 的 统计 特性 也 进行 了 标 
准 化 ， 将 统计 学 中 两 个 很 重要 的 指标 一 一 灰 度 的 均值 和 方差 调整 到 给 定 的 值 ， 具 体 做 法 如 
F: 

令 大 小 为 丈 x 互 像素 的 图 像 的 灰 度 矩 阵 为 7 (x, y) (0Sx<W, O<y<H), WAKE 




















像 的 灰 度 均值 和 方差 分 别 为 
1 H-1 W-1 
Me He Lay) (4-17) 
eo! 3 2 (y) =u) (4-18) 
为 了 将 图 像 的 灰 度 均值 和 方差 调整 到 给 定 的 值 w 和 cu ,对 每 个 像素 值 作 如 下 变换 : 
I'(x,y) = (1,9) —m) +My (0<x <W,0<y<H) (4-19) 


在 程序 实现 中 ， 设 置 了 一 个 函数 : Histogramqual (unsigned char * ptr, int width, int 
height) 。 在 该 函数 中 ， 实 现 了 上 面 的 算法 。 在 主 程序 中 ， 调 用 此 函数 来 改进 人 脸 图 像 的 光照 
效果 。 

经 过 了 上 面 的 算法 处 理 后 ,就 得 到 了 光线 分 布 较为 均匀 ` 图 像 质量 较 好 的 人 脸 图 像 了 。 下 
面 的 工作 就 是 要 定位 人 脸 的 面部 器 官 特征 ,将 依次 介绍 眼睛 眉毛 、 嘴 和 鼻孔 的 定位 方法 。 

(2) 眼睛 特征 点 的 定位 ”眼睛 的 定位 是 基于 人 上 脸 定位 的 基础 上 实现 的 。 人 了 眼 特征 点 定 
位 如 图 4-15 所 示 。 利 用 肤色 模型 实现 了 人 上 脸 检测 ， 将 得 到 的 人 脸 区 域 转化 为 灰 度 图 ， 并 用 
合适 的 阔 值 对 其 进行 二 值 化 后 ， 在 得 到 的 二 值 化 图 中 ， 用 下 面 的 规则 来 搜索 眼睛 对 。 

1) 左右 眼 块 的 大 小 R MR, 
相差 不 大 。 

2) AAR W, A W, 与 双 
眼中 心 距离 D 之 比 在 一 定 范围 之 
内 。 

3) 左右 眼 的 重心 高 度 且 和 五 
相差 不 大 。 

4) 左右 眼 宽 高 之 比 在 一 定 范 
HA, 
实验 表明 ， 通过 上 述 四 条 规则 
的 限制 ， 总 可 以 找到 一 对 满足 条 件 
的 连通 区 域 ， 而 这 对 连通 区 域 恰 好 
就 是 由 两 个 眼睛 所 形成 的 区 域 。 图 4-15 人 了 眼 特征 点 定位 

在 找到 了 两 个 眼睛 后 ， 本 节 采 用 了 局 部 搜索 的 方法 定位 两 个 眼角 点 ， 即 在 眼睛 所 对 应 的 
局 部 区 域 中 ， 搜 索 最 左 和 最 右 的 两 个 点 作为 左右 眼角 点 ， 搜 索 最 上 和 最 下 的 两 个 点 作为 上 眼 
皮 顶 点 和 下 眼皮 顶点 。 对 于 虹膜 中 心 点 的 定位 ， 采 用 了 传统 的 积分 投影 的 方法 。 

在 程序 的 实现 中 ， 本 节 定 义 了 一 个 数据 结构 EyePoint: 

typedef struct 


| 



































myPoint pl; // 记 录 有 眼睛 方 框 
myPoint p2; // 记 录 左 右 眼 角 点 
myPoint p3; // 记 录 上 下 眼 点 

| EyePoint; 
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然后 定义 了 一 个 以 EyePoint 为 返回 值 的 函数 FillEye (int currentx, int currenty, int left, int 
right, int top, int bottom) 。 通 过 这 个 函数 来 返回 眼睛 的 位 置 坐标 。 

(3) 眉毛 特征 点 的 定位 ” 按 类 似 于 眼睛 定位 的 方法 ， 利 用 一 定 的 规则 可 在 眼睛 区 域 的 
上 上 方 搜索 到 眉毛 区 域 ， 并 定位 出 眉毛 的 角 点 ， 如 图 4-16 所 示 。 

在 程序 的 实现 中 ， 定 义 了 一 个 数据 结构 BrowPoint : 

typedef struct 


| 














myPoint pl; // 记 录 眉 毛 方 框 
myPoint p2; /记录 左右 眉毛 点 
myPoint p3; /记录 上 下 眉毛 点 
| BrowPoint; 
然后 定义 了 一 个 以 BrowPoint ik EHA AY AŽ FillBrow (int currentx, int currenty, int left, int 
right, int top, int bottom) 。 通 过 这 个 函数 来 返回 眉毛 的 位 置 坐标 。 





图 4-16 眉毛 特征 点 定位 





(4) 嘴 部 特征 点 的 定位 ”在 层 色 模型 的 基础 上 ， 利 用 类 似 于 眼睛 特征 点 定位 的 方法 ， 
可 定位 出 两 个 嘴角 点 和 上 层 最 高 点 及 下 层 最 低 点 ， 如 图 4-17 所 示 。 

在 程序 中 定义 了 一 个 数据 结构 MouthPoint: 

typedef struct 


| 








myPoint pl; /记录 嘴 部 方 框 
myPoint p2; /记录 嘴角 点 位 置 
myPoint p3 ; 
| MouthPoint ; 
然后 定义 了 一 个 以 MouthPoint 为 返回 值 的 函数 FillMouth (int currentx, int currenty, int left, 
int right, int top, int bottom) 。 通 过 这 个 函数 来 返回 嘴巴 的 位 置 坐 标 。 
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图 4-17 中 部 特征 点 定位 





(5) 鼻孔 的 定位 ”在 眼睛 和 嘴巴 之 间 用 一 定 的 规则 可 搜索 到 一 对 小 的 连通 区 域 ， 位 于 脸 
部 中 线 的 两 侧 ， 很 靠近 中 线 。 实 验证 明 ， 这 一 对 连通 区 域 恰 好 就 是 由 两 个 鼻孔 形成 的 区 域 。 
在 程序 中 定义 了 一 个 数据 结构 NostrilPoint ; 
typedef struct 
| 
myPoint pl; 
myPoint p2 ; 
| NostrilPoint ; 
然后 定义 了 一 个 以 NostrilPoint 为 返回 值 的 水 数 FillNostril (int currentx, int currenty, int 
left, int right, int top, int bottom ) 。 通 过 这 个 函数 来 返回 鼻孔 的 位 置 坐标 。 图 4-18 给 出 鼻孔 
特征 点 定位 程序 实现 的 效果 图 。 








网 





4-18 ”鼻孔 特征 点 定位 
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4. 面部 器 官 特征 形状 提取 
(1) 眼睛 模板 ”眼睛 使 用 一 个 圆 和 4 段 抛物 线 来 拟 合 描述 。 眼 睛 拟 合 效果 如 图 4-19 所 
ZN o 
上 眼皮 拟 合 : 以 上 眼皮 最 高 点 为 顶点 和 分 界 点 ， 在 其 两 边 各 画 一 段 抛 物 线 。 对 应 抛物 线 
方程 是 
A ee (1 =1,2) (4-20) 
AF, (x, y) 是 上 眼皮 最 高 点 ; kn kh 分 别 是 左 、 右 抛物 线段 的 系数 ，k, >0。 
下 眼皮 拟 合 : 以 下 眼皮 的 最 低 点 为 硕 点 和 分 办 点 ， 在 其 两 边 各 画 一 段 抛物 线 。 对 应 的 抛 
物 线 方程 是 
y=k(x-%) +y, (i=3,4) 
SUF, (x,,y, ) 是 下 眼皮 最 低 点 ;hs ky 分 别 为 左右 抛物 线段 的 系数 ,k, >0。 
虹膜 边缘 对 应 的 圆 为 





y= + Jr -(x-x.) +y, (4-21) 

式 中 ,(x。,ye) 是 虹膜 中 心 坐标 ;r 为 圆 的 半径 。 

(2) 眉毛 的 拟 合 ”眉毛 的 拟 
合 与 眼睛 类 似 ， 这 里 就 不 再 详细 
介绍 了 。 

(3) 嘴 部 外 层 拟 合 ”因为 嘴 
部 外 层 边 缘 线 一 般 较 长 ， 所 以 如 
果 只 用 4 段 抛物 线 插值 来 拟 合 中 
部 边缘 线 ， EN 
果 。 所 以 ， 嘴 部 边缘 线 的 拟 合 
要 定位 更 多 的 特征 点 ， ee 
的 方法 来 达到 较 好 的 拟 合 效果 。 图 4-19 眼睛 拟 合 效果 
根据 两 个 嘴角 点 位 置 ， 将 整个 嘴 
部 在 横 坐 标 方 向 上 分 为 20 个 小 段 、21 个 端点 。 在 每 一 个 的 端点 上 ， 用 一 条 垂直 线 与 嘴唇 边 
缘 求 交点 ， 得 到 在 该 端 , e a 共有 42 个 坐标 。 受 二 值 化 图 像 效果 
的 影响 , 这 些 坐标 中 可 能 会 有 几 个 与 实际 边缘 线 位 置 相差 较 大 ， 根据 嘴 部 边缘 线 的 连贯 性 
剔除 掉 这 几 个 坐标 ， 用 相 邻 值 的 插值 来 代替 。 根 据 曲线 拟 合 的 数学 知识 ， 当 型 值 点 较 多 时 ， 
构造 插值 函数 通过 所 有 的 型 值 点 是 相当 困难 的 。 这 时 ， 一 种 较 好 的 解决 办 法 是 ， 选 择 一 个 次 
数 较 低 的 函数 ， 使 其 在 某 种 意义 上 最 为 接近 于 给 定 的 数据 点 ， 称 之 为 对 这 些 数 据点 的 通 近 
使 用 最 小 二 乘法 来 生成 逼近 曲线 。 

Pe} it UT PAL y=f(x) & f(x) Am 次 多 项 式 , 则 有 


f(x) = Yor (4-22) 
有 逼近 的 程度 可 通过 使 各 点 的 偏差 的 二 次 方 和 来 度量 。 求 解 以 下 函数 极 值 来 得 到 各 系数 
































ela) = È a) =n}? = > [dae - Ai (4-23) 
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将 求 出 的 系数 a (A BK BBLS (x), BIT A BOT oe AEE PRA 

利用 该 方法 ， 得 到 外 嘴唇 轮廓 的 较 好 的 拟 合 。 

(4) FLAME ” 盟 孔 对 应 的 圆 方程 为 

y= tM- (x-4) ty (i=1, 2) (4-24) 
RP, (x, y), a, 2) 分 别 为 左右 鼻孔 的 中 心 坐标 ; r 为 圆 的 半径 。 

嘴巴 和 上 鼻孔 拟 合 效 果 如 图 4-20 所 示 。 

5. 表情 识别 

在 成 功 地 提取 出 了 人 脸面 部 右 官 轮廓 以 后 ， 就 需要 在 此 
基础 上 对 表情 进行 建 模 ， 以 实现 表情 识别 。 所 谓 人 脸 表 情 识 
yI) (Facial Expression Recognition) ， 实 际 上 就 是 对 人 脸 的 表情 
信息 进行 特征 提取 分 析 ， 按 照 人 的 认识 和 思维 方式 加 以 归 类 
和 理解 ， 利 用 人 类 所 具有 的 情感 信息 先 验 知识 使 计算 机 进行 
联想 、 思 考 及 推理 ， 进 而 从 人 脸 信息 中 分 析 理 解 人 的 情绪 ， 
WAR, E, B, RR, REMEE, 

用 计算 机 来 自动 识别 人 脸 表情 是 一 个 非常 复杂 的 问题 ， 
这 是 因为 : 

1) 表情 具有 和 多样 性 及 多 变性 的 特点 ， 不同 国家 、 不 同 民 族人 的 表情 是 不 尽 相 同 的 ， 而 
且 即 使 是 同一 种 族 的 人 ， 由 于 表情 的 多 样 性 及 个 人 的 个 性 、 习 惯 所 致 ， 表 情 也 不 尽 相 同 。 如 
何 定义 通用 的 表情 分 类 ， 这 是 一 个 心理 学 家 和 生物 学 家 研究 了 多 年 的 问题 ， 但 至 今 也 没有 一 
个 统一 的 标准 。 

2) 实时 表情 识别 要 求 计 算 机 对 人 脸 及 五 官 的 模式 识别 有 较 高 的 能 力 ， 但 由 于 计算 机 本 
身 没 有 知识 和 经 验 ， 这 就 对 算法 提出 了 很 高 的 要 求 ， 而 且 计算 机 图 片 的 质量 受到 环境 、 光 照 
等 很 多 条 件 的 影响 ， 这 又 进一步 加 大 了 识别 的 难度 。 因 此 很 多 基于 静态 人 脸 库 的 表情 识别 方 
法 被 提 了 出 来 ， 但 如 何 进行 准确 、 实 时 的 表情 识别 ， 到 目前 为 止 还 没有 一 个 非常 好 的 办 法 。 

本 节 在 上 面 精确 地 提取 了 人 脸面 部 特征 的 基础 上 ， 分 析 了 面部 器 官 的 运动 方向 ， 使 用 
HMM 设计 并 实现 了 实时 的 表情 识别 系统 ， 达 到 较 好 的 识别 效果 。 系 统 设计 框图 如 图 4-21 所 


不 。 
定位 面部 各 个 器 器 官 轮廓 曲线 拟 
官 特征 点 合 











图 4-20 ”嘴巴 和 鼻孔 拟 合 效 果 















通过 分 析 相 邻 帧 得 
出 器 官 运 


官 运动 方向 


HMM 分 析 得 到 








图 4-21 系统 设计 框图 





6. 表情 的 分 类 设计 

上 面 提 到 了 表情 的 分 类 是 一 个 复杂 的 问题 ， 到 目前 为 止 ， 还 没有 一 个 统一 的 表情 分 类 标 
准 。 但 它 又 是 一 个 热门 话题 ， 有 不 少 人 在 对 其 进行 研究 ， 并 提出 了 一 些 表情 分 类 方法 。 其 
H, Ekman (RE) 依据 心理 学 和 解剖 学 的 原理 ， 对 表情 进行 了 分 类 。 他 的 分 类 方法 是 目 
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前 用 得 最 广 的 。 本 节 参 照 了 Ekman 的 表情 分 类 方法 ， 定 义 了 5 种 表情 : 平静 、 人 惊奇 、 高 兴 、 
愤怒 、 莫 伤 。 表 情 及 相应 面部 絮 官 动作 见 表 4-1 
表 4-1 表情 分 类 表 


















































































































































眉毛 眼睛 中 

惊奇 EELER 眼睛 睁 大 嘴 张 开 ， 但 并 未 拉 介 

高 兴 | EPS Hg AS ORAMaRIHAR; QUENT AE BIKK 

pg BEREE, HBE 上 眼皮 被 压低 ， 下 了 眼皮 可 | 中 居 有 两 种 可 能 位 置 ， 紧 闭 、 层 角 拉 直 或 向 下 ， 张 
了 fe LHA 开 、 仿 佛 要 喊 ; @@ 鼻 孔 可 能 张大 

悲伤 | 眉毛 内 角 皱 在 一 起 ， 抬 高 | 眼 内 角 的 上 眼皮 被 抬 高 嘴角 下 拉 

平静 | 无 明显 形变 无 明显 形变 无 明显 形变 
7. 表情 建 模 








在 检测 出 各 个 面部 器 官 后 ， 并 有 了 分 类 依据 以 后 ， 下 面 的 任务 就 是 要 分 析出 表情 来 。 一 
种 方法 是 基于 单 帧 的 方法 ， 设 定 几 个 闽 值 来 判定 表情 。 但 基于 单 帧 的 方法 由 于 对 不 同 的 人 使 
用 了 固定 的 相同 靖 值 ， 而 每 个 人 的 表情 姿态 各 不 相同 ， 一 般 得 不 到 好 的 结果 。 另 一 种 方法 是 
利用 面部 器 官 的 运动 信息 来 识别 表情 ， 因 为 即使 是 不 同 的 人 ， 对 于 同一 种 表情 也 会 有 相似 的 
面部 运动 趋势 ， 而 这 种 方法 正好 利用 了 面部 运动 信息 ， 所 以 能 达到 较 好 的 识别 效果 。 

本 市 采用 第 二 种 思路 ， 希望 能 通过 分 析 面 部 占 官 的 运动 特征 来 得 出 表情 状态 ， 以 达到 较 
好 的 识别 效果 。 

为 了 能 够 较 精确 地 识别 表情 ， 必 须 对 表情 进行 建 模 。 在 建 模 时 ， 考 虑 到 即使 是 不 同 的 表 
情 ， 某 些 面部 器 官 的 运动 状态 却 往往 有 相似 的 地 方 ， 所 以 必须 采用 一 种 能 够 有 效 描述 状态 与 























观察 态 之 间 关 系 的 方法 来 建 模 。HMM 方法 就 是 一 种 很 好 地 描述 状态 与 观察 态 之 间 对 应 关系 
的 方法 。 


因此 ， 本 节 提 出 了 基于 HMM 的 表情 建 模 方法 。 对 每 一 种 器 官 的 动作 建立 一 个 HMM, 
先 观察 连续 几 帧 间 的 同一 种 器 官 的 运动 状态 ， 根 据 HMM 可 以 得 出 最 佳 的 表情 状态 序列 ， 然 
后 统计 出 这 一 表情 序列 中 各 个 表情 状态 的 百分比 ， 再 根据 各 个 器 官 的 统计 结果 进行 加 权 
(一 般 而 言 ， 嘴 部 的 运动 最 明显 ， 对 情感 的 表示 也 较为 准确 ， 所 以 赋予 的 权 值 较 大 ， 眼 睛 和 
眉毛 的 权 值 相 对 较 小 ) ， 得 出 综合 的 表情 状态 百分比 ， 取 比率 最 高 的 作为 识别 结果 。 实 验证 
明 ， 我 们 的 模型 可 以 达到 很 高 的 表情 识别 率 。 下 面 对 于 一 种 器 官 先 来 确定 出 HMM 的 参数 。 
HMM 可 以 通过 以 下 参数 来 描述 : 

1) 元 素 N: 它 表示 模型 中 的 状态 个 数 。 令 状态 空间 为 $= | 5 ,5,,…,Sy| , 每 一 个 状态 
对 应 一 种 表情 状态 。 

2) TRM: 表示 出 每 一 个 状态 可 观察 到 的 不 同 符号 数 。 各 个 符号 表示 为 了 = | VV ,… 
Vul, 每 一 种 符号 对 应 该 器 官 的 一 种 运动 状态 。 

3) 状态 转移 概率 分 布 4 = a;l, 其 中 , a, =PLq =S,l¢,=S,] SiN), 描述 了 各 
种 表情 之 间 的 转移 概率 , 状态 转移 概率 分 布 由 经 验 值 预先 设 定 。 

4) 状态 7 中 可 见 符号 的 概率 分 布 B= 15,(k)|, 其 中 , 6b,(k) =P[ 在 t 时刻 出 现 符号 为 
Vlg,=S;] ,1<j<N, 1<k<M, 描述 了 一 种 表情 状态 中 , 一 种 器 官 各 个 运动 状态 的 概率 分 布 。 


? 
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5) 初始 状态 分 布 7 = {ar}, 其 中 ,mi =Plq, =S], 1<jSN. 初始 状态 分 布 也 由 经 验 值 
预先 确定 。 
利用 前 向 -后 向 算法 解 出 最 佳 状态 , 定义 : 
(1) 前 向 变量 : 
a, (i) =P(0,0,-+:0,,q, =S,1A) 
1) 初始 条 件 : a ( =7,b,(0,) (1<i<N) 
2) 归纳 : 


N 
and) = [Eaa Oa) (ses7-LL<sjsN (425) 
i=l 


3) HR: PCOLA) = Yet) 
(2) 后 向 变量 : 


B,(1) =P(0,,,0,,5°7° Orla, =5S;,,A) 


1) 初始 条 件 : B7(i) =1 (1<i<N) 





2) JAA. 
B,(i) = Sako eat (tf =7T-1,7-2,--,1l;1 Si <N) (4-26) 
(3) 变量， 
Oe = 
È (i)B, (i) 


问题 的 解 即 表情 状态 q, 为 





q, = arg max [y,(i) ] (1<tST) (4-27) 
在 得 到 状态 序列 g, 后 ， 就 可 按照 上 面 提 到 的 方法 ， 对 各 个 状态 序列 中 的 统计 结果 进行 
加 权 综 合 ， 选 出 综合 比率 最 高 的 表情 作为 识别 结果 。 
在 图 4-22 中 ,给 出 了 儿 种 表情 的 识别 结果 。 用 曲线 拟 合 出 眼睛 、 嘴 和 鼻孔 的 轮廓 边缘 ， 
用 圆 标记 出 瞳孔 。 








图 4-22 ”实时 表情 识别 结果 : 惊奇， 高兴， 悲伤 和 愤怒 





8. 实验 结果 
本 节 设 计 的 系统 用 这 最 基本 的 4 种 表情 做 实验 ， 以 每 秒 15 帧 的 速率 ， 在 Pentium IV 、 
1.70GHz、CPU 又 没有 任何 特殊 硬件 的 PC 上 ， 对 于 20 个 人 的 不 同 表情 统计 识别 结果 ， 识 别 
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的 正确 率 达 到 75% 以上。 下 一 步 的 工作 是 进一步 完善 本 节 中 所 讨论 的 系统 ， 即 从 识别 技术 
及 表情 模型 两 方面 入 手 ， 争取 做 出 一 套 对 于 人 物 表情 识别 实用 性 更 强 、 效 果 更 好 的 系统 。 我 
们 相信 随 着 模式 识别 、 情 感 计算 、 心 理学 等 研究 的 进一步 发 展 ， 实 时 的 表情 识别 技术 一 定 会 
取得 更 大 的 突破 ， 将 来 一 定 能 够 很 好 地 为 人 们 的 生活 服务 。 


4.3 人 脸 合 成 技术 








4.3.1 概述 


这 里 主要 介绍 人 脸 的 3D 人 脸 模型 和 基于 参数 控制 的 人 脸 表情 动画 技术 ， 介 绍 所 用 到 的 
计算 机 图 形 学 的 基本 概念 ， 在 OpenGL 技术 下 提出 了 一 种 基于 非 均 名 有 理 B 样 条 (NURBS) 
曲面 和 面 片 相 结合 的 算法 ,认为 人 脸 是 一 个 弹性 体 ， 并 将 整个 人 脸 表 面 分 成 若干 块 ， 运 用 块 
体 变 形 模型 ， 对 人 脸 表 面 的 各 块 进行 弹性 形变 ， 建立 了 3D 人 脸 网 格 模型 ,实现 人 脸 表 情 动 
画 的 参数 控制 。 

在 虚拟 现实 系统 中 ， 经 常 需要 把 人 的 行为 (动作 ) 加 到 虚拟 环境 系统 中 去 。 例 如 当 交 
互 的 对 象 是 一 位 教师 或 比赛 的 对 手 时 ,虚拟 环境 中 的 作用 对 象 应 该 是 一 个 可 以 在 参数 控制 下 
进行 运动 的 客体 。 把 虚拟 系统 中 由 计算 机 合成 的 人 称 为 虚拟 人 “(Virtual Human) 。 虚 拟人 的 
个 体 行为 包括 一 般 行为 和 高 级 行为 。 一 般 行为 是 指 自 然 动 作 ， 例 如 行走 时 腿 和 手臂 的 动作 。 
高 级 行为 是 指 与 人 的 智能 活动 相关 的 动作 ， 例 如 说 话 时 嘴 的 动作 、 头 势 和 手势 动作 等 。 生 成 
这 些 行 为 的 技术 包括 特定 人 人 脸 图 像 的 合成 ,表情 、 层 动 、 手 势 、 体 势 、 语 音 的 合成 等 。 

作为 计算 机 人 体 动画 研究 的 一 部 分 ， 脸 部 表情 动画 的 研究 由 于 其 脸 部 结构 复杂 ， 脸 部 表 
情 集 心 理学 、 解 剖 学 和 生物 力学 为 一 体 ， 且 最 为 人 们 所 关注 ， 因 此 难度 最 大 。 近 年 来 ， 有 不 
少 人 提出 了 脸 部 表情 动画 的 模型 ， 这 些 模 型 各 有 优 缺 点 。 如 Parke 于 1982 年 提出 的 参数 化 
脸 部 动画 模型 ， 通 过 给 定 不 同 的 参数 生成 一 幅 幅 脸 部 动画 关键 帧 画面 ，Keith Waters 于 1987 
年 为 三 维 脸 部 表情 动画 提出 了 一 种 人 体 脸 部 的 三 维 拓扑 结构 ， 同 时 提出 一 种 肌肉 模型 来 控制 
拓扑 网 格 变形 ， 最 终 产生 脸 部 表情 动画 ， 此 后 这 个 模型 还 不 断 得 到 了 发 展 。 纵 观 这 些 模型 ， 
有 以 下 几 个 特点 : 叫 脸 部 表面 均 采用 不 规则 的 三 角形 面 片 来 构造 ， 一 般 说 来 ， 脸 部 难以 交互 
构造 ， 要 创建 一 个 角色 还 需 有 模特 的 支持 ,采用 相应 的 输入 设备 ， 建 立 角色 模型 ，® 若 得 到 
的 三 角形 网 格 较 粗 而 难以 更 细致 地 表现 角色 的 某 些 表情 时 ， 就 较 难以 控制 其 三 角形 片 的 细 
化 。 针 对 这 些 问题 ， 采 用 了 一 种 分 层 设计 的 规则 逻辑 网 格 的 脸 部 轮廓 造型 法 ， 同 时 以 著名 心 
理学 家 Paul Ekman 和 Wallace V. Friesen 等 人 研究 的 脸 部 动作 编码 系统 (Facial Action Coding 
System, FACS) 为 依据 ， 以 脸 部 解剖 学 和 生物 力学 特点 为 前 提 ， 研 制 各 种 肌肉 运动 调节 器 ， 
通过 合理 使 用 和 协调 有 关 肌 肉 调节 顺产 生 相 应 的 脸 部 表情 动画 。 

人 脸 是 由 外 轮廓 和 脸 部 主要 器 官 构成 的 。 人 脸 表情 的 产生 是 由 于 肌肉 的 牵引 将 正常 的 人 
脸 变 形成 为 有 表情 的 人 脸 。 在 Ekman 和 Friesen 提出 的 面部 运动 编码 系统 (FACS) 中 采用 
44 个 能 够 独立 运动 的 面部 动作 单元 (AU) 描述 面部 动作 ， 这 些 单元 与 导致 面部 表情 改变 的 
肌肉 结构 紧密 相连 。 在 这 个 系统 中 ，Ekman 和 Friesen 还 提出 并 研究 了 6 种 基本 表情 ， 分 别 
表达 为 屏 怒 、 厌 恶 、 怒 惧 、 高 兴 、 严 伤 和 惊奇 。 后 来 的 研究 者 们 进一步 揭示 了 运动 单元 与 肌 
肉 运动 之 间 的 关系 ， 提 供 了 表情 模型 的 生理 学 依据 。 
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人 脸 动 力学 的 最 初 工 作 建 立 在 三 维 网 格 模 型 基础 上 ， 面 部 表情 的 完成 是 通过 撞 压 和 拉 伸 
代表 面部 表面 网 格 的 相应 区 域 实现 的 。Waters 和 TerzoPoulos 提出 了 一 种 高 级 人 脸 模 型 ， 这 
是 一 种 基于 物理 的 合成 面部 结缔 组 织 和 一 组 基于 解剖 学 的 面部 肌肉 活动 的 结合 。 这 种 模型 将 
人 脸 描 述 为 一 种 层 状 结构 的 实体 ， 层 与 层 之 间 有 许多 弹簧 相连 。 采 用 这 种 模型 通过 跟踪 视频 
图 像 中 非 刚性 的 面部 特征 运动 ， 达 到 再 合成 瞬间 表情 的 目的 , 但 其 实现 十 分 复杂 。 


4.3.2 VC 环境 下 人 脸 表 情 动 画 的 实现 


背景 : 对 三 维 物体 进行 可 视 化 编辑 ， 和 希望 实现 对 三 维 模型 的 表情 动画 模拟 和 控制 。 

1. 人 脸 及 其 动画 系统 的 实现 步骤 

人 脸 及 其 动画 系统 包括 以 下 的 几 个 过 程 : 

(1) 人 脸 的 三 维 表示 “三 维 表示 研究 的 是 如 何 表示 三 维 实体 。 有 两 种 主要 的 表示 方法 : 
一 种 是 多 边 形 表示 方法 ， 这 是 图 形 学 中 最 常见 的 表示 方法 ， 用 多 个 多 边 形 来 表示 实体 的 曲 
面 ， 使 用 的 多 边 形 越 多 ， 表 示 的 精细 程度 越 好 ; 另外 一 种 表示 方法 是 非 均 匀 有 理 B 样 条 曲 
面 ，B 样 条 表示 方法 是 用 一 个 整体 的 曲面 来 表示 三 维 物体 ， 它 通过 一 个 控制 点 矩阵 来 控制 曲 
面 上 各 点 的 位 置 和 法 向 量 的 方向 ， 用 B 样 条 函数 来 拟 合 控制 点 多 边 形 。 因 为 BORE AR ee 
高 次 函数 ， 具 有 多 阶 导 数 ， 所 以 拟 合 出 来 的 B 样 条 曲面 是 个 光滑 的 曲面 。 人 脸 的 多 边 形 表 
示 方 法 比较 简单 ， 运 算 时 间 短 ， 但 是 光滑 程度 不 好 。B 样 条 曲面 表示 方法 比较 复杂 ， 运 算 时 
间 长 ， 但 是 光滑 程度 很 好 。 我 们 在 比较 了 各 种 方法 的 优 缺 点 后 ， 在 实验 的 基础 上 ， 最 后 使 用 
的 是 基于 特征 的 多 边 形 表 示 。 在 多 边 形 网 格 中 定义 了 眼睛 、 曙 子 、 额 头 、 头 发 、 眉 毛 、 耳 
和 条、 下巴、 脖子 、 后 脑 勺 等 特征 点 ， 特 征 点 的 作用 是 定义 了 人 脸 部 特征 的 形状 和 位 置 。 除 了 
村 征 点 以 外 的 网 格 点 叫 非 特征 点 或 自由 点 ， 它 们 的 位 置 受 特征 点 的 影响 。 复 杂 的 特征 所 在 多 
边 形 划分 比较 细密 ， 而 其 他 地 方 的 多 边 形 划 分 比较 稀 玻 。 多 边 形 表示 方法 在 表示 嘴巴 、 眼 睛 
等 需要 切割 的 特征 有 独到 的 优势 。 

(2) 三 维 建 模 ”三 维 建 模 研究 的 是 如 何 从 照片 、 视 频 序列 、 激 光 扫 描 数据 这 些 二 维 数 
据 重 建 三 维 实体 。 我 们 采用 的 方法 是 从 固定 拓扑 的 原始 人 头 模型 变形 ， 这 是 目前 大 多 数 人 脸 
动画 研究 者 采取 的 建 模 方法 。 它 的 思想 是 基于 人 类 面部 特征 的 位 置 、 分 布 基本 上 是 一 样 的。 
而 特定 人 脸 的 模型 可 以 通过 对 一 个 原始 模型 中 特征 和 其 他 一 些 网 格 点 位 置 自动 进行 或 交互 
式 进行 。 基 于 这 种 特征 多 边 形 的 人 脸 表 示 ， 对 于 人 脸 的 建 模 ， 采 用 了 两 种 模型 .一 种 是 造型 
阶段 的 线性 弹性 模型 ， 用 于 一 般 人 脸 的 生成 ; 男 一 种 是 用 于 动画 和 表情 变形 的 肌肉 模型 。 线 
性 弹性 模型 的 建 模 方 法 要 求 移 动 某 一 个 或 某 一 组 特征 网 格 点 的 同时 ， 相 关 的 非特 征 点 要 做 相 
应 移动 ， 而 且 要 符合 弹性 特征 ， 即 当 特 征 点 恢复 到 原来 位 置 时 ， 非 特征 点 也 要 能 恢复 到 原来 
的 位 置 ， 因 此 在 由 一 般 人 脸 到 特殊 人 脸 时 ， 我 们 采用 了 线性 弹性 模型 。 肌 肉 模型 实现 脸 部 表 
情 变形 和 动画 时 ， 我 们 不 再 使 用 线性 弹性 模型 ， 因 为 这 个 简单 的 弹性 模型 的 变形 并 没有 依据 
人 脸 的 物理 特性 ,产生 的 动画 逼真 程度 不 够 。 因 此 ， 我 们 使 用 了 肌肉 模型 来 计算 动画 和 表情 
的 变形 。 

人 面部 的 主要 肌肉 群 分 布 如 图 4-23 所 示 。 

A. 额头 的 (Frontalis) ， 收 缩 时 提升 眉毛 ; 

B. 皱眉 肌 (Corrugator) ， 收 缩 时 使 眉毛 向 里 和 向 下 运动 ， 实 现 如 皱眉 这 样 的 表情 ; 

C. 眼 瞪 提 肌 (Levatorpalpebrae) ， 收 缩 提 高 上 眼帘 ; 
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D. 高 提 肌 (Levatorlabiisuperioris) ， 从 鼻子 基部 一 直 延 伸 到 上 嘴 展 的 中 间 ， 单 独 收 缩 产 
AEE HI AST 

E. FAY (Zygomaticmajor) ， 收 缩 是 嘴角 向 斜 上 方 ， 产生 微笑 的 表情 ; 

F. 抬 起 的 〈Risorius ) ， 收 缩 时 使 嘴角 向 两 旁 和 向 下 
移动 ， 比 如 在 内 江 时 ， 

G. 向 下 压 的 ( Depressorlabiiinferioris) ， 说 话 时 ， 把 








ul 


























TREFH; z j 
H. 斜面 的 (Mentalis) ， 收 缩 时 ， 把 下 巴 往 上 拉 , 产 QP TINKA 
WIA ANY T P! 
生 努 嘴 的 效果 。 Nts A PY n 


对 于 每 一 条 肌肉 ， 都 会 有 一 个 与 骨骼 相连 的 固定 点 ， 
如 图 4-23 中 的 Pl 点 ， 固 定点 的 位 置 在 面部 变形 时 位 置 是 
不 变 的 ; 还 会 有 一 个 与 皮肤 组 织 衔接 的 可 移动 点 ， 如 图 中 
的 P3 点 ， 肌 肉 收 缩 时 ， 可 移动 点 的 位 置 变动 最 大 。 而 位 
于 肌肉 线条 上 的 其 他 点 ， 如 P2 点 ， 它 的 变形 是 肌肉 最 大 
变形 (如 P3 的 变形 ) 的 非 线性 递减 。 eae Ae 

2. 构造 物理 模型 环境 

本 节 采 用 OpenGL 和 Visual C ++ 系统 环境 开发 人 脸 情 感 表 达 系 统 。 

OpenGL 实际 上 是 一 个 开放 的 三 维 图 形 软件 包 ， 它 独立 于 窗口 系统 和 操作 系统 ， 以 它 为 
基础 开发 的 应 用 程序 可 以 十 分 方便 地 在 各 种 平台 间 移 植 ?1 ; OpenGL 可 以 与 Visual C ++ 紧密 
接口 ， 便 于 实现 机 械 手 的 有 关 计 算 和 图 形 算法 ， 可 保证 算法 的 正确 性 和 可 靠 性 ; OpenGL 使 
用 简便 ， 效 率 高 。 它 在 建 模 的 基本 图 元 绘制 、 基 本 变换 和 投影 变换 、 颜 色 模式 设置 、 光 照 和 
材质 设置 、 纹 理 映 射 (Texture Mapping) 、 位 图 显示 和 图 像 增强 、 双 缓存 (Double Buffering) 
动画 等 方面 有 相当 强大 的 功能 表现 。 

在 Windows 中 运用 OpenGL 进行 主要 的 图 形 操作 以 及 最 终 在 计算 机 屏幕 上 绘制 出 三 维 场 
景 的 基本 步骤 是 : 

1) 设置 设备 环境 的 像素 格式 : 像素 格式 告诉 OpenGL 绘制 风格 、 颜 色 模 式 、 颜 色 位 数 、 
深度 位 数 等 重要 信息 。 

2) 建立 “翻译 描述 表 ”: 选 定 设备 环境 的 当前 “翻译 描述 表 ”。 

3) 建立 模型 : 根据 基本 图 元 建立 景物 的 三 维 模型 ， 并 对 模型 进行 数学 描述 。 

4) 舞台 布置 : 把 景物 放置 在 三 维 空间 的 适当 位 置 ， 设 置 三 维 透视 视觉 体 ， 以 观察 场 
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5) 效果 处 理 : 设置 物体 的 材质 (颜色 、 光 学 性 能 及 纹理 映射 方式 等 ) ， 加 入 光照 和 光 
照 条 件 。 

6) 光栅 化 ， 把 景物 及 其 颜色 信息 转化 为 可 在 计算 机 屏幕 上 显示 的 像素 格式 。 

7) 屏幕 显示 : 在 屏幕 上 显示 三 维 模型 。 

3. 特定 人 脸 模 型 和 动画 模型 

目前 ， 生 成 特定 人 脸 采 用 的 方法 主要 有 : 中 两 步 修 改 算法 : 先 将 一 般 人 脸 模型 进行 比例 
变换 ， 然 后 再 将 该 模型 覆盖 在 特定 人 脸 的 照片 上 ， 经 比较 后 拖 动 其 预先 定义 好 的 特征 点 ， 使 
人 脸 模 型 和 照片 相似 ， 实 现 特定 人 脸 造 型 ， 凶 采用 证 本身 就 有 纹理 的 三 维 一 般 人 脸 模 型 同 二 
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维特 定 人 脸 图 像 进行 边 匹 配 边 修改 坐标 和 纹理 控制 参数 的 方法 来 产生 出 真实 感 极 强 的 三 维特 
定 人 脸 ; @) 不 经 过 模型 修改 而 由 二 维 人 脸 图 像 直接 得 到 三 维特 定 人 脸 的 算法 ， 该 方法 通过 在 
两 张 摄 像 机 参数 不 同 的 人 脸 图 像 上 定义 二 维 网 格 ， 利 用 小 孔 成 像 和 极 线 几何 原理 ， 求 得 二 维 
网 格 的 三 维 信息 ， 最 终生 成 特定 人 脸 的 三 维 模型 。 

(1) 特定 人 脸 模 型 特定 人 脸 模 型 从 一 般 人 脸 模型 转化 而 来 。 一 般 人 脸 模 型 是 利用 通 
用 三 维 软件 (如 : 3D Max Studio) 建立 的 一 般 三 维 模型 ， 它 是 三 角 网 格 体 ， 实 现 的 精度 可 
以 很 高 ， 图 形 的 盘 真 度 很 高 ， 但 是 它 的 动作 或 表情 变化 次 序 都 是 事先 安排 好 的 ， 无 法 实现 实 
时 控制 ， 如 果 想 在 系统 中 实现 实时 控制 表情 动画 ， 那 么 难度 比较 大 ; 而 且 在 系统 中 ， 和 希望 能 
够 以 较 小 的 代价 来 构建 三 维 人 脸 模 型 ， 基 于 这 些 原因 ， 我 们 采用 NURBS 曲面 和 三 角形 面 片 
相 结合 的 方式 进行 构建 ， 进 行 转换 时 ， 依 据 特 定 人 脸 的 照片 并 针对 模型 上 的 特征 点 进行 交互 
修改 而 改变 模型 形状 ， 使 之 与 特定 人 脸 相 吻合 。 

对 于 部 分 静态 的 脸 部 模型 ， 采 用 NURBS 曲面 进行 构造 , 要 理解 NURBS 方法 ， 必 须 从 B 
样 条 方法 入 手 。 只 有 在 掌握 B 样 条 方法 原理 与 算法 的 基础 上 才能 进入 到 NURBS T, KE 
(Gordon) 和 里 森 费 尔 德 (Riesenfeld) 提出 的 B 样 条 曲线 方程 为 






































pu) = X dN, u) (4-28) 
i=0 
式 中 ，N ,(u) 称 为 次 规范 BB 样 条 基 函 数 ,有 德 布尔 - 考 克 斯 的 递 推 公式 给 出 其 计算 方法 如 下 : 
X 1 (u,;SuSu,,,) 
sg) = 0 其 他 
Nita) =, Me 2 N aa (4-29) 
Li 一 Uisket T Uit 
0 
y? 





若 给 定 (m +1) x (n+1) 个 控制 顶点 d; (i =0,1,…,m;j =0,1,…,n) 的 阵列 , 构成 一 张 
控制 网 格 , 又 分 别 给 定 参 数 与 v UB GL, 和 两 个 节点 向 量 U= [ug uy yea IV 
= [v0,01，… ,V4141]， 这 就 定义 了 一 张 xl KIKER B 样 条 曲面 。 其 方程 为 

p(u,v) = by > 4; Ni p(w) Ny) (4-30) 


i=0 j=0 
式 中 ， U, SUSU, 415 0, SVSV, 410 


NURBS 曲面 在 原 B 样 条 曲面 的 基础 上 增加 了 权 因 子 控制 。NURBS 曲面 的 数学 定义 为 


> widiN; ,(u) 
p(w) = 一 (4-31) 
È oN; Cu) 
式 中 , w,(i=0,1,…,n) 称 为 权 因 子 , 分 别 与 控制 顶点 d,(i=0,1,…,n) 相 联系 。 由 NURBS H 
面 可 以 相应 地 得 到 丰 x7 NURBS 曲面 的 表示 式 为 
> > w; d; Ni Cu) N, (v) 


i=0 j=0 


> > w; N, Cu) N, (v) 


i=0 j=0 





p(u,v) = (4-32) 
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这 里 的 控制 顶点 d;,(i=0,1,…,m;j =0,1,…,n) 为 一 矩形 阵列 , 形成 了 一 个 控制 网 格 。 
图 4-24 展示 了 由 控制 点 阵 构造 NURBS 曲面 的 情景 。 





图 4-24 由 控制 点 阵 构造 NURBS 曲面 


对 于 脸 部 表情 变化 的 部 分 ， 根 据 人 脸 的 生理 特点 ， 将 人 脸 表 面 分 成 若干 块 。 将 人 脸 表情 
特征 部 位 ， 如 眼睛 、 嘴 巴 等 处 的 NURBS 曲面 用 面 片 构 成 的 曲面 代替 。 当 特征 面 片 块 体位 移 
和 形变 都 很 小 时 ， 可 认为 块 体内 部 个 体位 移 是 其 坐标 (x，y，z) 的 一 阶 线性 组 合 (高 阶 忽 
略 ) ， 即 














U =a} 二 QIX +a,y +432 
| =b +b,x +b,y +b,z (4-33 ) 
W = Cy 二 CiX% + CoV +652 
为 了 更 易于 控制 ， 将 参数 向 量 a、b、c， 即 
a = (a) ,4,, 4,0; ) b = (b,,6,,55,63) C =(C0,C1,C3,C3) (4-34) 
转化 为 具有 确定 物理 意义 的 块 体形 变 参 数 向 量 
(Up 5% ,Wo @ BLY Ey Ey Ez Tay Taz Tya) 
WP, (w, w, wo ) 为 块 体内 参考 点 (x , Yo. 29) 的 刚体 位 移 ;(a,8,y) 为 块 体 绕 参 考点 在 xoy, 
xoz yoz ~F AY Fe IVE ; (ey ,sy,ez) 为 块 体 在 x、yz 方 向 的 法 向 应 变 ; (7, y Tass Ty) 为 块 体 
TE xy az yz 之 间 的 切 向 应 变 。 此 时 式 (4-33 ) 就 可 转化 为 
u=|1 0010 0 -m -n 0 m2 n/2 0] 
v=(0 1 0 O m O L O -n l7?2 0 n2] (4-35) 
w=[0 0 1 O0 O n O L -m O 1⁄2 m2] 
AF, l=(x-x); m=(y-Y0); n=(z-%) o 
要 得 到 块 体内 任意 一 点 的 位 移 , 可 以 先 利 用 几 个 参考 点 的 位 移 反 求 甩 ,然后 再 利用 五 来 计 
算 块 体内 所 有 其 他 点 的 位 移 。 的 表达 式 为 
H = (Up ,v0 ,Wo ,0,B,Y, Er,Ey,E7, Ty, Te Tye) (4-36) 
人 脸 出 现 某 种 特定 表情 时 ， 每 一 个 子 块 的 形变 比较 小 ， 因 此 完全 可 以 采用 弹性 形变 模型 
来 模拟 脸 部 表情 动画 。 通 过 分 析 ， 为 眼睛 上 动 、 嘴 巴 张 开 等 脸 部 动作 建立 了 各 自 的 弹性 形变 
模型 ， 即 表情 动画 模型 。 
对 于 如 何 将 NURBS 曲面 的 剪 切 边界 与 面 片 能 够 密实 地 接合 起 来 ， 就 需要 知道 剪 切 边界 
的 节点 坐标 ， 由 于 NURBS 曲面 剪 切 边界 并 不 是 按照 坐标 剪 切 的 ， 它 只 是 根据 整体 曲面 的 比 
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例 来 进行 剪 切 ， 这 就 对 我 们 结合 坐标 的 工作 产生 一 定 的 难度 ， 但 是 可 以 对 边界 的 比例 进行 换 
算 和 平移 ， 就 能 达到 这 种 效果 。 相 应 节点 在 本 坐标 系 内 所 采用 的 换算 公式 为 
x=0-[L(lxn)j] 或 x=[L(l xn,)] -1/2 
y=0-[L(1 xn,)] 或 x =[1,(1 xn,)] -1,/2 
aH, (x,y) 为 该 节点 的 平面 坐标 ;2 为 曲面 分 别 在 轴 和 y 轴 上 的 宽度 ;n, 为 剪 切 的 比 
例 系数 。 当 nn, Bn, <0.5 时 ,用 左边 的 公式 ;而 当 n, 或 n, >0.5 时 ,用 右边 的 公式 。 对 于 z 轴 
上 的 坐标 ,可 以 用 平移 函数 来 解决 ,因为 NURBS 曲面 的 变形 是 根据 点 与 点 之 间 的 相互 关系 来 
进行 的 ,因此 经 过 数 次 平移 可 以 控制 在 视觉 误差 范围 之 内 了 。 
(2) 表情 动画 模型 人 脸 出 现 某 种 特定 表情 时 ， 每 一 个 子 块 的 形变 比较 小 ， 因 此 完全 
可 以 采用 弹性 形变 模型 来 模拟 脸 部 表情 动画 。 通 过 分 析 ， 我 们 为 眼睛 也 动 、 嘴 巴 张 开 等 脸 部 
动作 建立 了 各 自 的 弹性 形变 模型 ， 即 表情 动画 模型 。 以 眼睛 为 例 : 眼睛 有 张 开 和 转动 眼珠 等 
动作 。 对 眼球 的 转动 模拟 如 下 眼球 的 描述 是 以 圆心 和 半径 为 基准 点 进行 的 ， 设 圆心 为 
T (Xo, Yos 20) ,半径 为 m， 眼 球 的 大 小 变化 需 符合 下 列 公式 : 
CC iC tie (4-38) 
它 的 位 移 变化 只 需 在 x、y、z 方向 进行 移动 和 旋转 即 可 。 但 对 眼皮 动作 的 模拟 就 比较 复杂 ， 上 
眼皮 的 运动 比较 剧烈 ， 它 不 但 有 上 下 运动 ， 还 有 左右 运动 ， 而 下 眼皮 的 动作 幅度 相 比 之 下 较 
小 。 为 此 ， 在 定义 眼睛 特征 时 ， 用 四 个 基本 特征 点 表示 一 个 眼睛 ， 它 们 分 别 位 于 眼角 、 眼 睛 最 
高 和 最 低 处 。 同 时 ， 眼 睛 外 形 近 似 于 一 个 椭圆 ,椭圆 和 抛物 线 在 空间 曲线 的 统一 表示 中 ， 其 形 
状 因子 最 相近 ， 所 以 用 两 段 抛物 线 模拟 一 个 眼睛 的 外 形 。 其 外 形 轮廓 近似 符合 下 面 公式 : 
y=a(x—-b)? +c (4-39 ) 
对 上 眼皮 : 设 眼 睛 闭合 时 眼睛 为 一 个 弹性 平衡 态 ， 且 此 时 下 眼皮 无 弹性 形变 ， 则 当 上 眼 
皮 的 抛物 线 与 纵 轴 焦点 值 为 c、 水 平方 向 上 的 拉动 位 移 Ax =0、 垂 直方 向 上 的 位 移 Ay (抛物 
线 拟 合 上 眼皮 线 ) 时 ， 所 有 上 眼皮 三 角形 定点 的 位 移 〈 以 4 个 特征 点 的 坐标 系 原点 建立 坐 
标 系 ) 可 表示 为 


(4-37 ) 



















































































Ay =a[ x3 x? -2b(x, -x,) ] 


Ax =sqrt| (y, -¢)/a] -sqrt[ (yı -c)/a] (4-40) 
因此 , 定点 的 坐标 变 为 (x', y', z') ， 且 满足 
(X,Y ,2)=(x,y,2) + (Ax, Ay, Az) (4-41) 





综合 式 (4-40), st (4-41) ， 可 以 得 到 顶点 的 新 坐标 ， 变 动 与 c 值 ， 就 可 以 得 到 上 了 眼 
皮 运 动 的 一 系列 新 坐标 ， 从 而 模拟 出 上 有 眼皮 的 整个 运动 过 程 。 对 下 眼皮 ， 同 理 可 得 上 述 结 
果 。 

采用 同样 方法 ， 还 建立 了 有 眼睛、 嘴巴 等 许多 动作 的 弹性 变形 模型 。 由 于 保存 的 是 弹性 变 
形 模型 的 数学 公式 ， 而 非 动 作 功 能 网 格 模型 ， 所 以 在 空间 耗费 上 同 以 往 的 方法 相 比 要 经 济 多 
T; 每 个 表情 动作 之 间 ， 只 有 少数 区 域 的 点 参与 形变 ， 中 间 过 程 完全 由 弹性 形变 模型 确定 ， 
因而 计算 量 较 小 。 

(3) 程序 的 编码 实现 ”构建 一 个 在 VC 环境 下 的 OpenGL 绘制 的 三 维 模 型 ， 本 节 采 用 
NURBS 曲面 和 三 角形 面 片 相 结合 的 方式 进行 构建 。 新 建 一 个 单 文档 的 应 用 程序 。 设 计 
NUBRS 曲面 来 模拟 人 脸 模 型 。 初 始 化 绘制 环境 : 
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1) 填充 PIXELFORMATDESCRIPTOR 结构 。 

2) 设置 像素 格式 ”确定 设备 上 下 文 (DC) 所 支持 的 像素 格式 中 ， 与 给 定 像 素 格式 描 
述 符 最 为 匹配 的 像素 格式 索引 值 。 

3) 创建 着 色 描 述 表 。 

4) 对 灯光 ， 材 质 等 环境 相关 参数 进行 初始 化 。 

5) 场景 布置 : 为 了 将 物体 放置 在 场景 中 合适 的 位 置 ， 需 要 使 用 一 些 OpenGL 的 变换 操 
YE, OpenGL 变换 有 基本 变换 和 投影 变换 两 种 。 基 本 变换 是 对 三 维 物体 进行 平移 、 旋 转 、 缩 
放 等 。 投 影 变 换 则 把 物体 从 三 维 投影 到 二 维 。 视 区 则 决定 物体 的 投影 图 像 在 显示 设备 中 的 尺 
寸 和 位 置 。OpenGL 中 的 多 数 变 换 均 对 应 于 相应 的 变换 矩阵 ， 可 以 说 就 是 实现 将 物体 的 各 个 
顶点 通过 各 种 变换 矩阵 的 作用 映射 到 屏幕 的 过 程 。 根 据 变 化 的 类 型 ,分 为 3 种 和 矩阵 模式 : 
GL _ MODELVIEW 对 应 于 基本 变换 ，GL ”PROJECTION 对 应 于 投影 变换 ，GL TEXTURE 对 
应 于 纹理 矩阵 类 型 。 

中 对 几何 造型 初始 化 ; 

@ 设 置 透 视 投 影 变 换 和 视 区 ; 

@ 模 型 的 绘制 。 

在 模型 绘制 过 程 中 ， 由 于 侧重 模型 的 编辑 操作 ， 在 绘制 时 并 未 计算 顶点 的 法 向 量 , 仪 仅 
求 出 了 各 个 面 片 的 法 向 量 。 

部 分 程序 如 下 所 示 : 

void CDisplayView: :OnDraw( ) 

| 

















CPaintDC de(this) ; 

elClearColor(0. Of 0. 5f,0. 5f,1. Of) ;// 将 显示 窗口 颜色 设置 为 蓝 绿色 
glClear(GL COLOR _ BUFFER BITIGL DEPTH BUFFER _ BIT); 
// 用 该 色 清 除 颜色 ,深度 缓存 





























SwapBuffers( dc. m _ ps. hde) ;// 当 前 设备 的 前 台 缓 存 和 后 台 绥 存 交 换 
| 

void CDisplayView: :Drawscene( ) /绘制 人 脸 模型 

| 





glClearColor(0. 4f,0. 4f,0. 4f,1. Of) ; 
glClear(GL COLOR BUFFER BITIGL DEPTH BUFFER _ BIT); 


elFlush( ) ; 


| 
在 对 NURBS 曲面 的 绘制 中 , 设置 曲面 所 需 控制 点 矩阵 和 节点 ， 以 及 所 需 剪 切 的 顺 时 针 
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PY EAE Et ME, 并 设置 NURBS 对 象 及 属性 。 

GLUnurbsObj * theNurb; 

theNurb = gluNewNurbsRenderer( ) ; 

eluNurbsProperty(theNurb, GLU _ SAMPLING _ TOLERANCE, 24.0) ; 

eluNurbsProperty(theNurb, GLU _ DISPLAY _MODE,GLU OUTLINE _ POLYGON); 
其 中 , gluNurbsProperty( —) 函数 通过 选择 GLU _ OUTLINE _ POLYGON “ OpenGL 常量 来 控制 
成 员 变 量 ， 这 是 一 种 交互 的 机 制 。 类 似 这 种 OpenGL 常量 有 几 百 个 ， 一 般 可 以 通过 控制 常量 
来 进行 交互 选择 ， 或 控制 程序 的 运行 ， 或 控制 图 形 的 处 理 方式 ， 或 控制 图 形 的 输出 形状 等 。 

本 节 应 用 了 NURBS 曲面 的 剪 切 功能 ， 其 中 gluPwlCurve (”) 函数 就 是 处 理 剪 切 曲 面 功 
能 的 函数 。 利 用 这 个 功能 可 以 制作 多 连通 曲面 。 多 连通 曲面 是 由 外 部 边界 线 和 内 部 边界 线 界 
定 的 曲面 。 外 部 边界 是 按 逆 时 针 方 向 的 ， 而 内 部 边界 是 按 顺 时 针 方向 的 。 更 内 层 的 边界 方向 
可 以 类 似 确 定 。 剪 切 区 域 定 义 了 将 要 计算 的 NURBS 表面 域 的 子 集 ， 通 过 限制 将 要 计算 的 区 
域 ， 有 可 能 生成 包含 洞 的 NURBS 表面 或 生成 有 光滑 边界 的 表面 。 剪 切 区 域 由 一 整套 表面 参 
数 空间 的 封闭 剪 切 循环 定义 。 

(4) 纹理 映射 ”构建 完 模型 就 要 加 上 纹理 了 ,加 纹理 时 ， 使 用 纹理 映射 。 纹 理 映 射 技 
术 是 真实 感 技 术 的 一 个 重要 方面 ， 人 脸 表 面 的 纹理 具有 颜色 和 几何 纹理 的 双重 属性 。 在 贴 纹 
理 前 ， 必 须要 确定 纹理 与 人 脸 的 相对 关系 ， 即 在 场景 中 生成 实体 时 要 同时 用 到 纹理 坐标 和 几 
何 坐标 。 对 于 一 个 二 维 纹理 来 说 ， 纹 理 坐 标 在 两 个 方向 上 都 是 从 0.0 到 1.0。 这 样 在 设计 纹 
理 时 就 要 小 心 ， 要 使 其 左右 、 上 下 各 边 能 够 很 好 地 拼 为 一 体 ， 即 要 实现 纹理 图 像 的 无 颖 连 
接 。 在 应 用 中 ， 首 先 选 择 一 个 图 像 。 由 于 被 用 作 纹理 图 像 的 宽 和 高 必须 是 2 的 过 次 方 ， 所 以 
在 预 处 理 部 分 须 将 其 转换 为 符合 要 求 大 小 的 格式 ， 并 将 对 应 的 256 分 量 依次 读 和 缓存 区 。 在 
初始 化 时 ， 对 纹理 映射 的 各 种 参数 进行 设置 ， 要 对 相对 的 几何 坐标 同时 给 出 对 应 的 纹理 坐 
标 ， 本 节 采 用 了 线 积 分 卷 积 法 来 进行 纹理 的 向 量 场 映射 方法 。 设 向 量 场 中 任 一 点 处 的 局 部 特 
性 由 一 卷 积 核 函 数 k(w) 沿 一 条 从 该 点 开始 向 前 向 后 跟踪 出 的 一 段 流 线 积分 的 结果 来 决定 , 则 
定点 (x,y) 的 纹理 值 Kx,y) 可 由 下 式 得 出 : 






























































1(x,y) = =— (4-42) 


式 中 ,7 为 (x,y) 出 发 向 前 向 后 跟踪 的 流 线 段 所 经 过 的 像素 ;f(x;,y, ) DRR (x, 7; ) AE TA, 
纹理 ;h, 为 流 线 段 穿 过 像素 (xi,y ) 时 在 其 内 的 长 度 。 经 过 这 样 的 处 理 后 ,就 可 以 实现 具有 真 
实感 较 强 的 人 脸 表面 表情 。 


4.3.3 动画 的 实现 与 结 


OpenGL 是 在 帧 缓存 中 存储 和 操作 像素 数据 的 。 帧 缓存 是 由 多 个 缓存 组 成 的 逻辑 集 ， 这 
些 缓存 包括 颜色 缓存 、 深 度 缓存 、 累 积 缓 存 和 模板 缓存 。OpenGL 是 用 双 缓 存 技术 来 实现 动 
画 的。 程序 把 帧 存 看 成 是 两 个 视频 缓存 ， 在 任意 时 刻 ， 只 有 两 者 中 的 一 个 内 容 能 被 显示 出 
来 。 当 前 可 见 视频 缓存 称 为 前 台 视 频 缓 存 (FrontBuffer 或 OnScreenBuffer) ; 不 可 见 的 正在 画 
的 视频 缓存 称 为 后 台 视 频 缓 存 (BackBuffer 或 OffScreenBuffer) 。 当 后 台 视 频 缓存 中 的 内 容 被 
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要 求 显示 时 ，OpenGL 就 会 把 它 复制 到 前 台 视 频 缓 存 中 去 ; 显示 硬件 则 不 断 地 读 出 可 见 视频 
缓存 中 的 内 容 ， 并 把 结果 显示 在 屏幕 上 。 

在 确定 了 特定 人 脸 模 型 及 表情 动画 模型 后 ， 对 人 脸 照 片 进行 部 分 处 理 ， 并 且 进 行 光照 处 
理 后 ， 青 将 照片 映射 至 模型 上 ， 得 到 的 一 系列 实验 结果 还 是 比较 令 人 满意 的 。 图 4-25 所 示 
为 人 脸 模 型 网 格 与 纹理 ， 图 4-26 所 示 为 合成 脸 部 的 不 同 表情 。 



























































图 4-25 ”人 脸 模型 网 格 与 纹理 








图 426 脸 部 的 不 同 表情 
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第 5S 童 ”人 类 心理 行为 的 图 像 理 解 技术 


5.1 概论 


在 以 人 为 中 心 的 信息 技术 研究 中 ， 基 于 图 像 处 理 技术 对 人 类 行为 的 理解 是 一 个 重要 的 研究 方 
向 ， 步 态 识别 、 人 体 跟踪 和 行为 理解 是 其 中 的 重要 内 容 ， 这 也 是 人 工 心理 研究 的 技术 基础 。 


5.1.1 基于 视觉 的 人 体 运 动 分 析 


基于 视觉 的 人 体 运 动 分 析 包 含 从 人 的 图 像 序列 中 检测 、 识 别 、 跟 踪 人 ， 并 对 其 行为 进行 
理解 和 描述 ， 属 于 图 像 分 析 和 理解 的 范畴 。 从 技术 角度 而 言 ， 人 的 运动 分 析 的 研究 内 容 相 当 
丰富 ， 主 要 涉及 模式 识别 、 图 像 处理 、 计 算 机 视觉 、 人 工 智 能 等 学 科 知 识 ; 同时 ， 动 态 场 景 
中 运动 的 快速 分 制 、 人 体 的 非 刚性 运动 、 人 体 自 遮挡 和 目标 之 间 互 遮 
挡 的 处 理 等 ， 也 为 人 的 运动 分 析 研 究 带 来 了 一 定 的 挑战 。 
基于 视觉 的 人 体 运 动 分 析 主 要 是 针对 包含 人 的 运动 图 像 序 列 进行 
分 析 处 理 。 它 通常 涉及 运动 检测 、 目 标 分 类 、 人 的 跟踪 及 行为 理解 与 
描述 等 几 个 过 程 ， 其 一 般 性 处 理 框 架 如 图 5-1 所 示 。 其 中 ， 运 动 检测 、 
目标 分 类 、 人 的 跟踪 属于 视觉 中 低级 和 中 级 处 理 (Low-level and Inter- 
mediate-level Vision) 部 分 ， 而 行为 理解 和 描述 则 属于 高 级 处 理 ( High- 
level Vision) 部 分 。 当 然 ， 它 们 之 间 也 可 能 存在 交叉 ( 比如 有 时 跟踪 过 
程 中 运动 检测 的 使 用 ) 。 


5.1.2 运动 检测 
运动 检测 的 目的 是 从 序列 图 像 中 将 变化 区 域 从 背景 图 像 中 提取 出 





















































行为 理解 与 描述 


来 。 运 动 区域 的 有 效 分 割 对 于 目标 分 类 、 跟 踪 和 行为 理解 等 后 期 处 理 ”图 5-1 基于 视觉 
人体 运动 
非常 重要 ， 因 为 以 后 的 处 理 过 程 仅仅 考虑 图 像 中 对 应 于 运动 区 域 的 像 。 的 信 体 运 动 分 


























X. 然而， 由 于 背景 图 像 的 动态 变化 ， 如 天 气 、 光 照 、 影 子 及 混乱 干 EEA 
扰 等 影响 ， 使 得 运动 检测 成 为 一 项 相当 困难 的 工作 。 下 面 归 纳 出 目前 几 种 党 用 的 方法 。 

1. 背景 差 方法 

背景 差 (Background Subtraction) 方法 是 目前 运动 分 割 中 最 常用 的 一 种 方法 ， 它 是 利用 
当前 图 像 与 背景 图 像 的 差分 来 检测 运动 区 域 的 一 种 技术 。 它 一 般 能 够 提供 最 完全 的 特征 数 
据 ， 但 对 于 动态 场景 的 变化 ， 如 光照 和 外 来 无 关 事 件 的 干扰 等 特别 敏感 。 最 简单 的 背景 模型 
是 时 间 平均 图 像 ， 大 部 分 研究 人 员 目 前 都 致力 于 开发 不 同 的 背景 模型 ， 以 期 减少 动态 场景 变 
化 对 于 运动 分 割 的 影响 。 例 如 ，Haritaoglu 等 2 利用 最 小 、 最 大 强度 值 和 最 大 时 间 差分 值 为 
场景 中 每 个 像素 进行 统计 建 模 ， 并 且 进 行 周 期 性 的 背景 更 新 ，McKenna 等 2 利用 像素 色彩 
和 梯度 信息 相 结合 的 自 适应 背景 模型 来 解决 影子 和 不 可 靠 色彩 线索 对 于 分 割 的 影响 ; 
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Karmann 与 Brandtt221 i Kilgerl231 采 用 基于 卡尔 曼 滤 波 (Kalman Filtering ) 的 自 适应 背景 模型 ， 
以 适应 天 气 和 光照 的 时 间 变 化 ; Stauffer 与 Grimson” 利用 自 适 应 的 混合 高 斯 背景 模型 (B 
对 每 个 像素 利用 混合 高 斯 分 布 建 模 ) ， 并 且 利 用 在 线 估计 来 更 新 模型 ， 从 而 可 靠 地 处 理 了 光 
照 变化 、 背 景 混乱 运动 的 干扰 等 影响 。 

2. 时 间 差 分 方法 

时 间 差 分 (Temporal Difference) 方法 是 在 连续 的 图 像 序列 中 在 两 个 或 三 个 相 邻 帧 间 采 
用 基于 像素 的 时 间 差 分 和 浆 值 化 来 提取 图 像 中 的 运动 区 域 。 例 如 ，Lipton S Fil] FAY Wie 
分 方法 从 实际 视频 图 像 中 检测 运动 目标 ， 进 而 用 于 目标 的 分 类 与 跟踪 ; 一 个 改进 的 方法 是 利 
用 三 帧 差分 代替 两 帧 差分 ， 如 VSAM 开发 了 一 种 自 适 应 背景 减 除 与 三 帧 差分 相 结合 的 混 
合算 法 ， 它 能 够 快速 有 效 地 从 背景 中 检测 出 运动 目标 。 时 间 差 分 运动 检测 方法 对 于 动态 环境 
具有 较 强 的 自 适应 性 ， 但 一 般 不 能 完全 提取 出 所 有 相关 的 特征 像素 点 ， 在 运动 实体 内 部 容易 
产生 空洞 现象 。 

3. 光 流 方法 

基于 光 流 (Optical Flow) 方法 的 运动 检测 采用 了 运动 目标 随时 间 变 化 的 光 流 特性 ， 如 
Meyer SEO 通过 计算 位 移 量 光 流 场 来 初始 化 基于 轮廓 的 跟踪 算法 ， 从 而 有 效 地 提取 和 跟踪 运 
动 目标 。 该 方法 的 优点 是 在 摄像 机 运动 存在 的 前 提 下 ， 也 能 检测 出 独立 的 运动 目标 。 然 而 ， 
大 多 数 的 兴 流 计算 方法 相当 复杂 ， 且 抗 品 性 能 差 ， 如 果 没 有 特别 的 硬件 装置 ， 则 不 能 被 应 用 
于 全 帧 视频 流 的 实时 处 理 。 关 于 光 流 更 加 详细 的 讨论 可 参见 Barron 等 的 文章 |。 

当然 ， 在 运动 变化 检测 中 ， 还 有 其 他 一 些 方法 ， 如 Friedman 与 Russell' ”利用 扩展 的 期 
望 值 最 大 '*” (Expectation Maximization, EM) 算法 ， 为 每 个 像素 建立 了 混合 高 斯 分 类 模型 ， 
该 模型 可 以 自动 更 新 ， 并 能 自 适 应 地 将 每 个 像素 分 类 为 背景 、 影 子 或 者 运动 前 景 ， 在 目标 运 
动 速度 绥 慢 的 情况 下 ， 亦 能 较 好 地 完成 运动 区 域 的 分 割 ， 同 时 可 以 有 效 地 消除 影子 的 影响 ，; 
另外 ，Stringa'” 也 提出 了 一 种 新 颖 的 基于 数学 形态 学 的 场景 变化 检测 算法 ， 在 变化 的 环境 
条 件 下 ， 获 得 了 相对 稳定 的 分 割 效果 。 


5.1.3 目标 分 类 


目标 分 类 的 目的 是 从 检测 到 的 运动 区 域 中 将 对 应 于 人 的 运动 区 域 提取 出 来 。 不 同 的 运动 区 
域 可 能 对 应 于 不 同 的 运动 目标 ， 比 如 交通 道路 上 监控 摄像 机 所 捕捉 的 序列 图 像 中 可 能 包含 行 
人 、 车 辆 及 其 他 诸如 飞鸟 、 流 云 、 播 动 的 树枝 等 运动 物体 。 为 了 便于 进一步 对 行人 进行 跟踪 和 
行为 分 析 ， 运 动 目标 的 正确 分 类 是 完全 必要 的 。 注 意 ， 这 个 步骤 在 一 些 情况 下 可 能 是 不 必要 的 
(比如 已 经 知道 场景 中 仅仅 存在 人 的 运动 时 ) 。 下 面 仅 给 出 两 种 常用 的 目标 分 类 方法 。 

1. 基于 形状 信息 的 分 类 

基于 形状 信息 的 分 类 (Shape-based Classification) 是 利用 检测 出 的 运动 区 域 的 形状 特征 
进行 目标 分 类 的 方法 。 例 如 ， 视 觉 监 控 重 大 项 目 (Visual Surveillance and Monitoring, 
VSAM)'“ 采 用 区 域 的 分 散 度 、 面 积 、 宽 高 比 等 作为 特征 ， 利 用 三 层 神经 网 络 方法 将 运动 目 
标 划 分 为 人 、 人 和 群 、 车 和 背景 干扰 ; Lipton 等 1 利用 分 散 度 和 面积 信息 对 二 维 运动 区 域 进 
行 分 类 ， 主 要 是 区 分 人 、 车 及 混乱 扰动 ， 时 间 一 致 性 约束 使 其 分 类 更 加 准确 。 

2. 基于 运动 特性 的 分 类 

基于 运动 特性 的 分 类 ( Motion-based Classification) 是 利用 人 体 运动 的 周期 性 进行 目标 分 类 
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的 方法 。 例 如 Cutler 与 Davis 通过 跟踪 感 兴趣 的 运动 目标 ， 计 算出 目标 随 着 时 间 变 化 的 自 相 
关 特 性 ， 而 人 的 周期 性 运动 使 得 其 自 相 关 也 是 周期 性 的 ， 因 此 通过 时 频 化 方法 分 析 目 标 是 否 存 
在 周期 性 的 运动 特性 而 将 人 识别 出 来 ; Lipton **! 通过 计算 运动 区 域 的 残余 光 流 (Residual 
Flow) 来 分 析 运 动 实体 的 刚性 和 周期 性 ， 非 刚性 的 人 的 运动 相对 于 刚性 的 车 辆 运动 而 言 具 有 较 
高 的 平均 残余 光 流 ， 同 时 它 也 呈现 了 周期 性 的 运动 特征 ， 据 此 可 以 将 人 区 分 出 来 。 

上 述 两 种 常用 的 目标 分 类 方法 有 时 可 以 结合 起 来 使 用 ， 甚 至 可 以 考虑 运动 物体 色彩 
或 速度 等 特征 ， 以 期 得 到 更 加 准确 的 分 类 结果 。 另 外 ，Stauffer”” | 提出 了 利用 时 间 共 生 和 矩阵 
进行 分 层 分 类 的 方法 ， 该 方法 不 仅 可 以 用 来 区 分 物体 ， 还 可 以 用 来 区 分 行为 。 


5.1.4 ”人体 跟踪 


跟踪 等 价 于 在 连续 的 图 像 帧 间 创 建 基于 位 置 、 速 度 、 形 状 、 纹 理 、 色 彩 等 有 关 特 征 的 对 
应 匹配 问题 ， 常 用 的 数学 工具 有 卡尔 曼 滤波 、 压 缩 (Condensation) 算法 中 及 动态 贝 叶 
斯 网 络 “; (Dynamic Bayesian Network) 等 。 其 中 卡尔 曼 滤 波 是 基于 高 斯 分 布 的 状态 预测 方 
法 ,不 能 有 效 地 处 理 多 峰 模 式 ( Multi-mode) 的 分 布 情况 ; 压缩 算法 是 以 因子 抽样 为 基础 的 
条 件 密度 传播 方法 ， 结 合 可 学 习 的 动态 模型 ， 可 完成 鲁 棒 的 运动 跟踪 。 

目前 ， 就 跟踪 对 象 而 言 ， 有 跟踪 手 、 脸 、 头 、 腿 等 身体 部 分 ”““] 和 跟踪 整个 人 体 
的 “*“]， 就 跟踪 视角 而 言 ， 有 对 应 于 单 摄像 机 的 单一 视角 '“| 、 对 应 于 多 摄像 机 的 多 视角 ™”] 
和 全 方位 视角 ”| ;当然 还 可 以 通过 跟踪 空间 (二 维 或 三 维 )、 跟 踪 环 境 (室内 或 室外 ) 、 跟 
踪 人 数 (HA, ZA, AE) 和 摄像 机 状态 (运动 或 固定 ) 等 方面 来 进行 分 类 。 跟 踪 方 法 
ERA: 中 基于 模型 的 跟踪 (Model-based Tracking); OH F X HA ERER ( Region-based 
Tracking); @ 基 于 活动 轮廓 的 跟踪 (Active Contour-based Tracking ) ;由 基于 特征 的 跟踪 
( Feature-based Tracking ) 。 


5.1.5 行为 的 理解 和 描述 


运动 检测 、 目 标 分 类 与 人 的 跟踪 是 人 的 运动 分 析 中 研究 较 多 的 三 个 问题 ， 而 人 的 行为 理 
解 和 描述 是 近年 来 被 广泛 关注 的 研究 热点 。 行 为 理解 和 描述 的 关键 问题 是 如 何 从 学 习 样 本 中 
获取 参考 行为 序列 ， 并 且 学 习 和 匹配 的 行为 序列 能 够 处 理 在 相似 的 运动 模式 类 别 中 空间 和 时 
间 尺 度 上 轻微 的 特征 变化 。 

匹配 时 变数 据 的 技术 通常 有 : 四 动态 时 间 规 整 (Dynamic Time Warping, DTW), 
DTW 具有 概念 简单 、 算 法 鲁 棒 的 优点 ， 早 期 被 广泛 地 应 用 于 语音 识别 中 ， 最 近 才 被 用 于 匹 
BLA Iz SESE! ， 对 DTW 而 言 ， 即 使 测试 序列 模式 与 参考 序列 模式 的 时 间 尺 度 不 能 完 
全 一 致 ， 只 要 时 间 次 序 约束 存在 ， 它 仍 能 较 好 地 完成 测试 序列 和 参考 序列 之 间 的 模式 匹配 。 
@) 隐 马尔 可 夫 模 型 (HMM) HMM 是 更 加 成 熟 的 匹配 时 变数 据 的 技术 ， 它 是 随机 状态 机 器 。 
HMM 的 使 用 涉及 训练 和 分 类 两 个 阶段 ， 训 练 阶段 包括 指定 一 个 HMM 的 隐藏 状态 数 ， 并 且 
优化 相应 的 状态 转换 和 输出 概率 ， 以 便 所 产生 的 输出 符号 与 在 特定 的 运动 类 别 之 内 所 观察 到 
的 图 像 特征 相 匹 配 。 对 于 每 一 个 运动 类 别 ， 一 个 HMM 是 必需 的 。 匹 配 阶 段 涉 及 一 个 特定 的 
HMM 可 能 产生 相应 于 所 观察 图 像 特征 的 测试 符号 序列 的 概率 计算 。HMM 在 学 习 能 力 和 处 理 
未 分 割 的 连续 数据 流 方面 比 DTW 有 更 好 的 优越 性 ， 当 前 被 广泛 应 用 于 人 的 运动 模式 匹配 
H, OMAN (Neural Network，NN)。 它 同样 也 是 目前 比较 感 兴趣 的 匹配 时 变数 据 的 
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方法 ， 如 Guo 等 ' 引 用 其 分 析 人 的 运动 模式 ;，Rosenblum 4U (a FH 4 li] BE PRB 2K WG oh A 
识别 人 的 情感 。 

对 于 人 的 行为 识别 而 言 ， 目 前 主要 有 下 述 两 种 匹配 方法 。 

1. 模板 匹配 方法 

采用 模板 匹配 (Template Matching) 技术 的 行为 识别 方法 ， 首 先 将 图 像 序列 转换 为 一 组 
静态 形状 模式 ， 然 后 在 识别 过 程 中 和 预先 存储 的 行为 标本 相 比 较 。 例 如 ，Bobick 与 Davis” 
采用 运动 能 量 图 像 ( Motion Energy Image, MEI) 和 运动 历史 图 像 (Motion History Image, 
MHI) 来 解释 图 像 序列 中 人 的 运动 。 序 列 中 的 运动 图 像 首 先 经 差分 运算 并 二 值 化 ; 而 后 这 些 
包含 运动 区 域 的 二 值 化 运动 图 像 随 着 时 间 累 加 而 形成 MET; 最 后 MEI 增强 为 MHI, MHI 中 
每 个 像素 的 值 与 该 位 置 的 持续 运动 时 间 成 比例 。 每 个 行为 由 不 同 视角 下 图 像 序 列 的 MET 和 
MHI 所 组 成 ， 从 中 可 以 提取 出 基于 和 矩 的 行为 特征 用 于 识别 阶段 的 模板 匹配 。Polana 与 Nel- 
son 利用 二 维 网 格 的 特征 进行 人 的 运动 识别 ， 首 先 计算 连续 帧 间 的 光 流 场 ， 并 将 每 个 光 流 
帧 在 空间 栅 格 上 沿 基 和 了 方向 分 解 ， 每 个 单元 格 的 幅度 被 累加 ， 从 而 形成 一 高 维特 征 量 
于 识别 ; 为 了 归 一 化 运动 的 持续 时 间 ， 他 们 假设 人 的 运动 是 周期 性 的 ， 并 将 整个 序列 分 解 为 
该 行为 的 许多 循环 过 程 ; 最 后 ， 采 用 最 近邻 算法 进行 行为 识别 。 模 板 匹配 技术 的 优点 是 计算 
复杂 度 低 、 实 现 简单 ， 然 而 它 对 于 噪声 和 运动 时 间 间 隔 的 变化 是 敏感 的 。 

2. 状态 空间 方法 

基于 状态 空间 方法 (State Space Approaches)?! 定义 每 个 静态 姿势 作为 一 个 状态 ， 这 
些 状态 之 间 通 过 某 种 概率 联系 起 来 。 任 何 运 动 序列 可 以 看 作为 这 些 静 态 姿势 不 同 状态 之 间 的 
一 次 遍历 过 程 ， 在 这 些 遍 历 期 间 计 算 联 合 概率 ， 其 最 大 值 被 选择 作为 分 类 行为 的 标准 。 

目前 ， 状 态 空间 方法 已 经 被 广泛 应 用 于 时 间 序 列 的 预测 、 估 计 和 检测 ， 最 有 代表 性 的 是 
HMM。 每 个 状态 中 可 用 于 识别 的 特征 包括 点 、 线 或 二 维 小 区 域 。 例 如 ，Yamato' 汶 等 利用 二 
维 小 区 域 块 的 运动 、 彩 色 、 纹 理 等 特征 进行 人 的 行为 识别 : 人 的 运动 区 域 块 的 网 格 特征 被 用 
作 学 习 和 识别 的 低级 特征 ;学习 是 利用 HMM 来 为 每 个 类 别 产生 符号 模式 ; 模型 参数 的 优化 
是 利用 Baum-Welch 算法 实现 的 ; 识别 是 以 给 定 序列 图 像 下 前 向 计算 (Forward Calculation) 
的 结果 而 确定 的 。Bregleri5 基于 人 体 动力 学 在 不 同 抽象 等 级 的 统计 分 析 提 出 了 一 个 综合 性 
的 网 络 用 来 识别 人 的 运动 : 识别 过 程 起 始 于 低级 处 理 ， 基 于 和 运动、 彩色 相似 度 和 空间 接近 程 
度 等 的 小 区 域 块 以 混合 高 斯 模型 来 估计 ， 不 同 的 身体 部 分 区 域 在 图 像 序 列 中 被 跟踪 ; 在 中 级 
处 理 阶 段 ， 具 有 一 致 运动 特性 的 区 域 被 匹配 为 动力 学 系统 中 的 简单 运动 (如 行走 被 认为 是 
两 个 简单 运动 的 组 成 ， 一 个 是 腿 的 支撑 ,一 个 是 腿 在 空中 的 摆动 ); 在 高 级 阶段 ，HMM 被 
用 来 作为 这 些 中 级 动力 系统 的 混合 模型 来 表达 复杂 的 运动 ， 识 别 过 程 通过 最 大 化 HMM 的 后 
验 概率 来 完成 。 状 态 空间 方法 虽然 能 克服 模板 匹配 的 缺点 ,但 通常 涉及 复杂 的 迭代 运算 。 


5.2 ”人体 的 检测 与 跟踪 技术 





































































































5.2.1 概述 


1. 应 用 领域 
人 体 运动 跟踪 的 应 用 领域 和 具体 方向 : 


(1) 虚拟 现实 领域 
交互 式 虚 拟 世 界 


游戏 


虚拟 演播 

表情 动画 制作 
电视 会 议 

(2) 智能 监控 领域 


Š 





出 入 控制 


停车 场 


超市 、 百 货 商 场 、 赌 场 





自动 售 货 机 、 自 动 取款 机 


交通 监控 


(3) 高 


级 用 户 界面 


人 性 化 交互 界面 


手势 语言 理解 





姿态 驱动 的 控制 

(4) 运动 分 析 

基于 内 容 的 视频 检索 

针对 个 人 特点 的 各 类 球 类 训练 

芭 敬 舞蹈 动作 编排 

对 整容 病人 进行 诊断 研究 

(5) 基于 模型 的 编码 

低 比特 率 的 视频 压缩 

运动 目标 的 检测 与 跟踪 是 应 用 视觉 研究 领域 的 一 个 重要 课题 。 在 现实 生活 中 ， 大 量 有 意 
义 的 视觉 信息 包含 在 运动 之 中 ， 甚 至 有 些 动物 的 眼睛 经 过 进化 ， 只 能 看 见 运动 的 物体 。 尽 管 
人 类 视觉 既 能 看 见 运动 的 物体 ， 又 能 看 见 静 止 的 物体 ， 但 是 在 许多 场合 ， 比 如 说 交通 流量 的 
监测 、 重 要 场所 的 保安 、 航 空 和 军用 飞行 絮 的 制导 、 汽 车 的 自动 驾驶 或 辅助 驾 强 等 ， 往 往 对 
运动 的 物体 更 感 兴趣 。 因 此 只 研究 对 运动 目标 敏感 的 检测 与 跟踪 系统 是 很 有 意义 的 。 

2. 运动 物体 检测 和 跟踪 研究 的 难点 
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一 般 而 


行 室内 单 人 的 跟踪 ， 他们 将 人 体 看 作 由 头 、 


言 ， 运 动 检测 与 跟踪 研究 的 难点 在 于 : 
1) 运动 物体 的 正确 检测 与 分 割 ，; 
2) Wyle) AES EA; 
3) 初始 运动 参量 的 确定 。 
5.2.2 基于 区 域 的 人 体 运动 跟踪 
基于 区 域 的 人 体 运动 跟踪 方法 目前 已 有 较 多 的 应 用 ， 例 如 Wren”) 等 利用 小 区 域 特征 进 








成 ， 利 用 高 
跟踪 各 个 小 





斯 分 布 建立 人 体 和 场景 的 模型 ， 








区 域 块 来 完成 整个 人 的 跟踪 。 





躯干 、 四 肢 等 身体 部 分 所 对 应 的 小 区 域 块 所 组 








届 于 人 体 的 像素 被 规划 于 不 同 的 身体 部 分 ， 通 过 
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基于 区 域 的 人 体 运动 跟踪 的 难点 是 处 理 运动 目标 的 影子 和 遮挡 ， 这 或 许可 利用 彩色 信息 
及 阴影 区 域 缺 乏 纹理 的 性 质 来 加 以 解决 ， 如 McKenna 等 首先 利用 色彩 和 梯度 信息 建立 自 适 
应 的 表 景 模型 ， 并 且 利 用 背景 减 除 方法 提取 运动 区 域 ， 有 效 地 消除 了 影子 的 影响 ;然后 ， 跟 
踪 过 程 在 区 域 、 人 、 人 和 群 三 个 抽象 级 别 上 执行 ， 区 域 可 以 合并 和 分 离 ， 而 人 是 由 许多 身体 部 
分 区 域 在 满足 几何 约束 的 条 件 下 组 成 的 ， 同 时 人 群 又 是 由 单个 的 人 组 成 的 ， 因 此 利用 区 域 跟 
踪 表 并 结合 人 的 表面 颜色 模型 ， 在 遮挡 情况 下 ， 也 能 够 较 好 地 完成 多 人 的 跟踪 。 

有 人 提出 了 一 种 新 的 方法 来 进行 人 体 运动 跟踪 。 该 方法 不 针对 特定 人 体 运 动 方式 ， 能 对 
复杂 、 变 化 背景 中 的 人 体 各 部 位 的 大 幅度 运动 进行 跟踪 。 下 面 结合 一 个 人 体 跟 踪 的 例子 来 具 
体 阐 述 基 于 区 域 跟踪 的 设计 理论 和 实现 方法 。 

其 基本 思想 是 在 建立 人 体 模型 的 基础 上 ， 按 自 上 而 下 的 顺序 依次 跟踪 人 体 各 部 分 ， 并 在 
其 中 采用 了 基于 图 像 差 分 的 运动 预测 和 分 区 域 直 方 图 相似 度 算法 。 该 过 程 的 整体 框架 如 图 
5-2 所 示 。 


第 一 由 图 像 差分 块 匹配 确定 
一 运动 预测 头 部 位 置 


图 5-2 系统 整体 框架 





























二 维 骨 架 运 动 预 测 
























他 们 将 三 维 人 体 看 成 由 关节 点 连接 的 刚体 集合 ， 如 上 肢 是 由 肘 关 节 连 接 的 上 下 臂 两 个 刚 
体 ， 上 辟 与 度 干 是 由 肩 关节 连接 的 。 他 们 以 三 维 人 体 骨 架 
来 描述 人 体 运动 。 将 人 体 投影 到 二 维 平面 上 后 ， 骨 架 中 各 
线段 的 空间 关系 依然 保持 不 变 ， 而 有 些 线段 的 长 度 会 发 生 
变化 ， 即 刚体 的 投影 相对 于 原 刚体 外 形 发 生 了 变化 。 在 二 
维 图 像 序列 的 人 体 跟踪 中 ， 由 于 线段 不 易 由 图 像 信息 来 表 
征 ， 所 以 他 们 以 二 维 人 体 块 模型 来 表示 人 体 在 二 维 平面 上 
的 投影 ， 如 图 5-3 所 示 。 各 长 方形 的 中 心 线 即 为 人 体 投影 后 
的 骨架 ， 中 心 线 将 相应 的 长 方形 分 为 等 面积 的 两 部 分 。 长 
方形 的 长 为 刚体 投影 后 的 长 度 ， 宽 由 人 体 学 知识 来 获取 。 
当 用 户 对 第 一 帧 中 的 特征 点 进行 标注 后 ， 就 得 到 了 该 帧 中 
各 个 长 方形 的 图 像 信息 。 因 此 ， 如 果 在 后 续 帧 序列 中 能 找 
到 各 个 长 方形 相应 的 新 位 置 ， 也 就 得 到 了 投影 平面 上 的 人 
体 二 维 运动 骨架 。 由 于 用 户 的 首 帧 标注 具有 高 可 靠 性 ， 因 
此 实际 上 将 特征 提取 与 特征 对 应 这 两 步 合 二 为 一 来 完成 ， 
即 在 寻找 图 像 序列 特征 点 的 过 程 中 也 完成 了 对 应 的 建立 。 图 53 二 维 人 体 块 模型 
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1. 骨架 跟踪 

由 于 人 体 的 头 部 较 少 有 自 遮 挡 现 象 ， 可 以 方便 地 获取 其 颜色 特征 。 并 且 当 头 部 长 方形 确 
定 后 ， 躯 干 长 方形 的 一 个 特征 点 有 颈 部 就 已 知 了 。 同 样 ， 当 上 辟 长 方形 确定 后 ， 肘 关节 就 
国定 了 ， 对 于 下 臂 只 需 确定 手 的 位 置 即 可 。 因 此 ， 我 们 从 头 部 顶点 开始 ， 按 自 上 而 下 的 顺序 
依次 跟踪 人 体 各 部 分 。 下 面 按 头 部 、 躯 干 、 四 胶 三 部 分 来 分 别 讲述 各 自 的 跟踪 。 

2. 头 部 跟踪 

由 于 对 于 任何 一 个 图 像 巾 而 言 ， 在 帧 序列 中 ， 人 的 头 部 可 能 向 各 个 方向 运动 ， 如 果 采 取 
局 部 搜索 的 方式 ， 那 么 查找 到 的 位 置 可 能 不 是 全 局 最 优 的 。 如 果 采 取 全 局 搜索 的 方式 ， 那 么 
效率 又 会 很 低 。 因 此 ， 他 们 采取 的 是 两 种 方式 的 结合 : 为 了 减少 下 一 帧 中 对 人 的 头顶 特征 点 
的 搜索 范围 ， 他 们 采用 基于 图 像 差 分 的 运动 预测 来 估计 下 一 帧 中 头 部 位 置 ;， 然后 以 该 预测 点 
为 中 心 ， 选 取 一 条 搜索 路 径 进行 形变 块 的 匹配 ， 以 精确 定位 头 部 位 置 。 

(1) 基于 图 像 差 分 的 运动 预测 ” 设 当 前 帧 中 的 头 部 顶点 和 有 颈 部 点 已 知 ， 他 们 将 头 部 
区 域 近似 为 一 个 圆 形 区 域 ， 如 图 5-4 所 示 。 的 直径 为 L， 圆 心 为 0。 由 于 一 帧 之 间 头 部 
位 移 较 小 ， 定 义 差分 区 域 为 一 个 以 0 为 圆心 、2L 为 半径 的 圆 形 区 域 2。 由 下 列 各 式 计算 差 
分 区 域 的 颜色 值 : 



































Derencei[ 民 ] = |X,,[ Red | - X',[ Red | | (5-1) 
Difference; | G] = |X;,[ Green | - X’ [ Green ] l (5-2) 
Difference; [| B | = 1X;,{ Blue | - X' [Blue] l (5-3) 


式 中 ， 克 表示 天 帧 中 坐标 为 G, 7) 的 像素 点 的 RGB 颜色 值 ; X RR k+1 帧 中 坐标 为 (i,， 
J) 的 点 的 颜色 值 。 由 于 下 一 帧 中 头 部 可 能 向 各 个 方向 运动 ， 所 以 必须 先 判 断 其 运动 方向 ， 
然后 再 估计 位 移 的 大 小 。 图 5-5 是 差分 区 域 示意 图 ， 兢 为 下 一 帧 中 的 头 部 位 置 。 本 节 假 设 相 
邻 帧 之 间 背 景 变化 较 少 ， 因 此 差分 区 域 中 除了 两 个 头 部 区 域 之 外 ， 其 值 接近 为 零 。 下 面 按 如 
下 算法 求 运动 方向 a: 

1) Ka, =90° 开 始 ， 以 a ,, =a, +5$"， 得 到 36 个 w 角 度 值 ; 
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图 5-4 AXK HR ERI 图 $-5 ”差分 区 域 





2) 将 每 个 a 所 在 的 直径 延长 到 与 差分 区 域 2 的 边界 相交 ， 得 到 36 条 长 为 47 的 线段 
L 


n9 


3) F FRR ERRE L, 上 所 有 点 的 颜色 总 和 : 


Sum, = >» ( Difference; [R] + Difference; | G] + Difference; [B]) (5-4) 


GJ) Ely 
4) Wa 为 使 Sum, BORK L, 所 对 应 的 角度 ， 即 
a = | æ, | Sum, =max( Sum, , Sum; ,** , Sums ) } (5-5) 


这 个 算法 的 根据 是 在 运动 方向 上 头 部 区 域 的 位 移 最 大 ， 因 而 反映 在 差分 区 域 上 应 该 是 该 
方向 上 点 的 颜色 值 总 和 最 大 。 在 确定 了 运动 方向 后 ， 下 面 要 估计 头 部 在 这 个 方向 上 位 移 的 大 
小 。 取 w 所 对 应 的 线段 一 ， 将 线段 上 所 有 点 的 RGB 颜色 值 以 曲线 形式 描述 出 来 ， 如 图 5-6 
所 示 。 由 图 5-6 可 以 看 到 ， 这 是 一 个 明显 的 双 峰 值 曲 线 ， 图 中 左边 峰值 对 应 于 图 5-5 H H5 
背景 的 差分 ， 右 边 峰 值 对 应 于 扎 与 背景 的 差分 。 这 两 个 差分 实际 上 代表 了 头 部 在 投影 平面 
上 的 位 移 ， 而 且 双 峰 的 宽度 应 大 致 相等 。 本 节 的 方法 是 ， 先 将 线段 上 上 所 有 点 的 颜色 均值 
a 求 出 ,然后 以 一 个 百分比 p (如 50%) ABE, ÆR 5-6 作 一 直线 y = ap, 该 直线 与 双 峰 
值 曲线 相交 有 两 条 线段 DD, 与 D,D;。 取 D1D, 与 D,D,; 长 度 的 均值 为 头 部 的 位 移 。 上 面 描述 的 
确定 运动 方向 的 算法 只 是 将 方向 定 在 一 条 线段 上 ， 而 未 确定 向 线段 的 哪 一 端 运动 。 实 际 上 ， 
只 需 计算 DD, 与 DD; 离 0 的 距离 ， 如 果 D1D, 离 0 远 ， 则 头 部 向 D1D, 所 在 方向 运动 ， 反 之 则 
向 D,D; 所 在 方向 运动 。 这 样 通过 图 像 差分 的 方法 就 可 以 得 到 下 一 帧 中 头 部 顶点 的 估计 位 置 。 
根据 形变 块 匹配 得 到 了 头 部 的 准确 位 置 后 ， 还 需要 衡量 一 下 运动 估计 的 准确 度 。 如 果 发 现 估 
计 位 移 过 大 ， 则 增加 百分比 阔 值 z; 反之 ， 则 减 小 p。 这 样 经 过 自 适 应 地 调整 阔 值 后 ， 运 动 
估计 的 准确 度 得 到 了 提高 。 

相对 于 卡尔 曼 滤波 中 较 多 的 矩阵 运算 而 言 ， 他 们 2 
提出 的 方法 具有 运算 效率 高 的 优点 。 但 由 于 基于 图 像 
差分 的 运动 预测 仅 考虑 相 邻 帧 的 图 像 信息 ， 并 没有 利 
用 运动 历史 的 信息 ， 因 此 在 某 些 情况 下 ， 受 噪声 干扰 
较 大 ， 影 响 了 预测 的 效果 。 

(2) 形变 块 匹配 图 5-6 所 示 的 运动 方向 上 的 双 a. (IL 
峰值 曲线 图 像 差分 仅仅 给 出 了 下 一 帧 中 头顶 点 的 预测 ap See 
坐标 ， 下 一 步 即 以 该 点 为 中 心 选择 一 条 搜索 路 径 进 行 


匹配 ， 以 精确 定位 头 部 的 位 置 。 为 了 便于 图 像 匹配 ， | 
他 们 将 头 部 在 图 像 上 的 区 域 近似 为 一 个 长 方形 (mx ae Nw 
1 ) ， 它 的 长 度 m 为 头 部 顶点 与 颈 部 点 的 距离 ， BEE 0 5 : 
可 通过 人 体 学 中 头 部 外 形 的 知识 获得 。 长 方形 中 mx ase La 
,个 点 的 颜色 信息 (RGB 值 ) 作为 头 部 的 颜色 模型 保 
图 下 来 ， 以 用 于 下 一 帧 的 匹配 。 由 于 图 像 上 的 头 部 区 域 是 三 维 头 部 在 投影 平面 上 的 投影 ， 因 
此 头 部 在 三 维 空间 的 运动 会 造成 投影 的 形状 发 生变 化 。 如 在 下 一 帧 中 ， 头 部 由 直立 变 为 略微 
向 左 侧 倾斜， 或 头 部 变 大 了 (这 可 能 是 人 向 相机 走 来 ) 。 因 此 他 们 的 块 匹配 必须 在 形变 块 之 
间 进 行 。 为 此 ， 他 们 采用 一 种 分 区 域 直方 图 相似 度 算法 。 

定义 形变 抉 4=| (x, y), m, n, 6), WASI 所 示 。(*，)) 为 块 的 中 心 线 与 一 条 边 的 
ZEA m ARK; n 为 块 的 宽 ，8 为 块 的 中 心 线 与 > MORM, MESRA =|, y), 
m, n, O} 和 比较 块 4'= | (x'’, y), m, n',，0'| ， 再 按 下 面 三 个 步骤 计算 两 者 的 相似 度 : 
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1) 将 块 4 OPA AB SSE AR AY 4 TP) Mb, ba, ba, by, WE 5-7 所 示 。 分 别 计算 这 4 个 
/) RM Be BOTA H HL. Hy. Ay. 

2) 将 块 4' 分 为 相等 面积 的 4 7) a OO. b, bs. bh, 分别 计算 这 4 个 小 区 域 的 颜色 
BPA H, H, H}, Hho 

3) HE, S=W,dSAk =13., = min(H,k,H',k') 

W, 表示 各 个 区 域 在 整个 块 中 所 占 的 比重 ; H, 是 将 A, 
(k=1、2、3、4) 标准 化 后 的 直方 图 ; n 为 直方 图 的 维 数 ，; 
min ( ) 表示 对 两 个 直方 图 进行 求 交 操作 ， 两 个 直方 图 越 
相似 ， 求 交 的 结果 越 接 近 1; 反之 ， 则 越 接近 0。 因 此 ， 他 
们 以 5S 表示 两 个 形变 块 之 间 的 相似 度 的 度量 ，$ 越 大 ， 则 
相似 度 越 大 。 采 用 分 区 域 的 方法 是 因为 这 样 不 仅 考虑 了 块 
中 的 颜色 在 数量 上 的 分 布 ， 也 考虑 了 颜色 在 位 置 上 的 分 布 。 
对 于 一 个 图 像 帧 序列 而 言 ， 他 们 将 上 一 帧 中 已 跟踪 到 的 头 
部 长 方形 区 域 定义 为 参照 块 4， 而 前 帧 中 待 跟踪 的 头 部 长 m 
方形 为 4'。 由 于 一 帧 之 间 头 部 转动 很 小 ， 所 以 取 9' 为 6 - P A 
AOS0' S0 + A0, A0 HIRR REE, ARFER E LE SA, HTA m - Am <m' 
<m + Am;n - (n/m) Am <Sn' <n + (n/m) Am, 这 样 ， 对 于 搜索 路 径 中 的 每 一 个 待 选 点 (x, 
y) ， 他 们 都 由 和 (x,y) ,mo ;6 形成 几 个 4， 分 别 计 算 其 与 上 一 帧 头 部 区 域 的 相似 度 ， 保 
留 具有 最 小 相似 度 的 4' 的 信息 。 最 后 ， 具 有 最 小 相似 度 的 4 即 为 当前 帧 中 头 部 区 域 的 位 置 。 
由 于 头 部 区 域 的 颜色 会 随 光 照 等 条 件 发 生变 化 ， 他 们 还 采用 线性 加 权 的 方法 来 自 适应 地 更 新 
颜色 模型 。 

3. 躯干 跟踪 

他 们 定义 躯干 部 分 的 长 为 从 颈 部 点 到 腹部 点 的 距离 ， 宽 为 左右 肩 部 之 间 的 距离 。 为 了 有 
效 地 定位 整个 躯干 的 位 置 ， 将 胸部 点 的 上 下 两 部 分 合 为 一 部 分 来 考虑 。 与 头 部 相 比 ， 艇 干 块 
的 长 度 与 宽度 不 一 定 是 按 比 例 同 时 缩放 的 ， 所 以 对 长 度 和 宽度 应 分 别 定 义 Am 与 An， 然 后 
用 分 区 域 直方 图 相似 度 算法 来 确定 躯干 块 的 位 置 。 此 时 躯干 块 的 宽度 即 为 本 帧 中 的 肩 宽 度 。 
躯干 确定 后 ， 腹 部 点 也 就 确定 了 。 对 于 左右 蔷 部 两 点 ， 他 们 假设 它 与 上 体 躯 干 一 起 发 生 旋 
转 。 如 果 上 体 旋 转 后 肩 宽度 为 上 一 帧 的 90% ， 则 本 帧 中 左右 辟 之 间 的 距离 也 为 上 一 帧 辟 间 
距 的 90% 。 

4. 四 肢 跟踪 

由 于 四 上肢 的 运动 具有 相似 性 ， 四 上 肝 部 分 在 一 帧 之 间 可 能 运动 较 多 ， 所 以 应 先 采 用 一 定 的 
预测 机 制 来 估计 下 一 帧 中 四 上肢 可 能 的 位 置 ， 然 后 再 精确 定位 。 以 腿 部 为 例 ， 将 每 一 帧 中 膝 部 
关节 点 相对 臂 部 的 角度 值 作为 运动 轨迹 信息 保存 下 来 。 每 次 预测 时 ， 取 前 两 帧 的 角度 值 作为 
均值 ， 以 该 值 作为 本 帧 的 初始 角度 值 9 ， 然 后 在 (0 - AO, 0’ +A9) 的 范围 内 确定 精确 的 
角度 值 。 结 果 发 现 ， 对 于 四 上 肢 的 大 幅度 运动 ， 预 测 机 制 能 有 效 地 减少 块 匹 配 的 搜索 范围 。 在 
描述 四 肢 形变 块 的 参量 中 ,除了 9 之 外 ， 另 一 个 重要 参量 是 m。 因 为 对 于 四 上肢 而 言 ， 从 任何 
视角 投影 过 去 ， 甚 宽度 变化 很 小 ， 而 长 度 可 能 变化 很 多 。 所 以 在 每 次 跟踪 四 肢 部 分 时 ，(x， 
y) Be, n KE, m 与 9 需要 由 前 述 的 相似 度 算法 来 确定 。 

在 四 歧 的 跟 中 中， 还 有 一 个 必须 考虑 的 问题 是 遮挡 的 处 理 问题 。 以 上 歧 为 例 ， 在 某 一 帧 
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ABO TIBT Ja, EEE ADE BIC HP Js R BER A BE, FECES TARR, FAME MS 
升 高 。 因 此 他 们 提出 了 将 块 匹配 的 相似 度 S 同时 作为 块 匹配 的 可 信 度 来 度量 。 在 帧 序列 的 匹 
配 过 程 中 ， 保 存 每 个 四 肢 块 的 匹配 可 信和 度 。 如 果 发 现在 两 个 较 高 匹配 可 信和 度 的 帧 之 间 有 一 个 
或 几 个 较 低 可 信和 度 的 帧 ， 则 用 高 可 信 度 帧 中 关节 点 的 坐标 线性 插值 ， 求 出 中 间 几 帧 的 关节 点 
坐标 。 

从 分 析 这 种 模型 匹配 的 方法 中 我 们 发 现 ， 当 被 跟踪 人 体 存 在 大 量 自 遮挡 现象 时 ， 跟 踪 的 
效果 将 会 受到 很 大 影响 。 解 决 这 一 问题 的 途径 有 两 个 : 一 是 在 跟踪 过 程 中 ， 加 入 用 户 的 反 
馈 ， 这 种 交互 式 跟踪 的 效果 将 是 非常 好 的 ， 二 是 借助 三 维 人 体 模型 的 知识 来 指导 二 维 跟踪 ， 
这 样 就 可 以 最 大 限度 地 减少 用 户 反 馈 的 次 数 。 


5.2.3 ”基于 小 波 变 换 的 分 层 块 匹配 多 目标 跟踪 方法 


. 二 维 离散 小 波 交 换 的 分 解 
i a 
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Cy = = Res 2k)h(q = 21) Cpa (5-6) 
di) = Zio- 2k)e(q - 2D) Ci (5-7) 
di = 2 (p -= 2k)h(q - 2) Caim (5-8) 
di} = Zso- 2h) g(q - 21) Ci (5-9) 


x h All g 分 别 是 对 应 同一 小 波 基 的 低 通 滤波 器 和 高 通 滤波 器 Ci 反映 原 图 像 的 低频 信 

， 也 称 平滑 像 ，d 沁 是 垂直 方向 高 频 、 水 平方 向 低频 的 分 量 ， 反 映 原 图 的 水 平 边 缘 ; d 

ee > 量 ， 反 映 原 图 的 垂直 边缘 ; d'% 是 水 平方 向 和 垂直 方向 
均 为 高 频 的 分 量 ,， 反映 原 图 斜 边缘 。 

当 采 用 由 Symlet 小 波 进行 图 像 分 解 的 方法 时 ，symNN 为 双 正 交 小 波 ， 小 波 的 支撑 长 度 为 
2N - 1， 滤波 器 长 度 为 2Y， 具 有 近似 的 对 称 性 

2. 基于 小 波 变换 的 分 靶 闫 匹配 目标 时 踪 算 法 

首先 对 运动 图 像 序 列 相 邻 两 帧 图 像 进行 一 层 的 二 维 离散 小 波 分 解 。 用 两 帧 图 像 的 低频 分 
量 图 像 进行 块 匹配 ， 这 样 做 的 目的 有 两 个 : 

1) 滤 除 了 原 图 像 的 高 频 噪 声 ， 防 止 了 在 含 噪 原 图 像 上 进行 块 匹 配 时 不 准确 的 缺点 ; 

2) 在 低频 分 量 图 像 Nx NN 范围 内 进行 块 匹 配 ， 相 当 于 在 原 图 像 上 ， 在 2"N x2°N 的 范 
围 内 进行 匹配 搜索 ， 其 中 为 小 波 分 解 的 层 数 ， 匹 配 搜 索 采用 局 部 全 搜索 法 。 
通过 块 匹 配 检测 出 低频 图 像 背 景 二 维 运动 向 量 ， 即 后 一 帧 与 前 一 帧 相 比 ， 背 景 在 和 Y 
两 方向 上 运动 了 多 少 像素 。 此 运动 向 量 乘 以 2" 后 为 原 图 像 背 景 运动 向 量 的 大 致 向 量 。 还 要 
在 原 图 像 上 进行 3 x3 范围 的 局 部 搜索 ， 因 为 在 原 图 像 上 背景 运动 单 倍 像素 在 其 小 波 低频 图 
像 上 是 反映 不 出 来 的 ， 如 在 原 图 上 对 方向 运动 3 个 像素 ， 在 小 波 变换 后 的 低频 图 像 中 背景 
沿 民 方向 运动 1 个 或 2 个 像素 。 所 以 还 要 在 原 图 像 上 以 小 波 低频 图 像 所 测 出 的 运动 向 量 为 中 
心 进行 3 x3 范围 的 局 部 搜索 ， 以 确定 图 像 序列 前 后 两 帧 背景 的 准确 偏 移 量 。 

确定 背景 偏 移 量 后 ， 把 后 帧 图 像 各 像素 按 此 偏 移 量 进行 平移 ， 使 后 帧 与 前 帧 重 琶 背景 在 
位 置 上 对 准 ， 之 后 进行 差分 运算 , 令 非 重合 部 分 像素 值 为 零 ( 因为 连续 两 帧 背景 偏 移 量 很 
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小 ) ， 差 分 运算 后 ， 不 动 的 背景 被 减 去 ， 运动 的 目标 被 检测 出 来 。 对 差分 图 像 要 进行 域 值 处 
理 ， 因 为 其 中 除 运动 目标 之 外 ， 还 有 高 频 噪声 ， 进 行 域 值 处 理 后 可 有 效 地 检 出 运动 目标 。 

检 出 目标 后 ,计算 出 运动 目标 的 形 心 坐 标 ， 然 后 对 向 前 各 帧 运动 向 量 进行 累加 ， 计 算出 
该 帧 背景 相对 于 第 1 帧 背景 的 运动 向 量 ， 然 后 对 形 心 按 累加 所 得 的 运动 向 量 进 行 平 移 ， 并 进 
行 累加 ， 即 可 得 到 运动 目标 的 运动 轨迹 。 

3. 块 匹配 搜索 算法 

搜索 算法 采用 局 部 全 搜索 ， 如 在 29 x 29 范围 内 ， 用 9 x9 模板 进行 匹配 (ABCC FAS iw 
背景 运动 向 量 大 小 不 超过 20 个 像素 ， 在 小 波 低频 分 量 图 上 ， 不 超过 10 个 像素 )。 匹 配 规则 
用 方 均 误差 (Mean Square Error, MSE) 规则 ， 得 


Coy) = Yd VAs) -Zla tiv +j) (5-10) 


WF, NxN 表示 参加 匹配 运算 像素 点 的 个 数 ; (x, y) 表示 在 X,Y 方向 上 发 生 的 偏 移 量 ; 
Z 表示 当前 帧 中 需 进 行 运动 向 量 估 计 的 块 ; 2 是 参考 帧 中 位 于 搜索 窗口 内 的 一 个 候选 块 。 
求 出 2 Z 所 有 对 应 像素 的 均 方 误差 C (x*，y) ， 再 求 出 其 中 最 小 的 C (x, y), EXI 
的 (x, y) 就 是 当前 帧 相对 参考 帧 的 运动 向 量 。 

4. 运动 目标 形 心 的 计算 

差分 后 图 像 已 获得 了 运动 目标 的 分 割 图 ， 并 将 此 图 进行 二 值 化 处 理 , 令 目 标 区 域 像素 灰 
度 值 为 255 ， 其 他 区 域 为 零 。 要 想 获 得 运动 目标 的 运动 轨迹 ， 或 要 预测 运动 目标 在 下 一 帧 中 
的 位 置 ， 必 须 计 算出 运动 目标 的 形 心 坐标 。 假 设 已 知 运 动 目 标 大 小 ， 就 可 确定 一 个 目标 搜索 
窗 ， 此 处 选用 9 x9 的 搜索 窗 。 然 后 做 全 图 搜索 ， 当 搜索 到 不 为 零 的 目标 像素 时 ， 就 以 此 像 
素 为 中 心 , 在 9 x9 的 目标 搜索 窗 内 做 求 取 形 心计 算 ， 即 
































X(n) = 5-11 

(n) = SBG (5-11) 
Zy B(i,j) 

Y(n) = = 5-12 

K XB(i,j) aa 


式 中 ，B(i,j) 为 搜索 窗 内 各 像素 点 的 灰 度 值 ，x;、y, 为 对 应 各 像素 点 的 坐标 。 运 动 目标 像素 
点 的 B(i,) 为 255， 其 他 像素 点 的 B(i,j) 为 0。X(n) 、Y(n) 为 目标 形 心 。 如 果 按 上 列 两 式 计 
算 ， 对 于 一 个 运动 目标 可 算出 一 个 、 两 个 或 更 多 的 形 心 ， 因 为 这 时 的 图 像 是 差分 后 的 图 像 ， 
所 以 包含 相 邻 两 帧 的 运动 目标 。 在 做 形 心 计算 时 ， 有 可 能 搜索 窗 包含 同一 运动 目标 两 个 图 像 
中 的 一 个 或 全 部 ， 这 样 计算 的 形 心 位 置 是 不 同 的 。 

这 样 就 要 把 不 同 的 形 心 位 置 按 照 横 坐 标 与 纵 坐 标的 相近 度 做 分 类 ， 把 横 、 纵 坐标 都 很 接 
近 的 形 心 坐标 分 为 一 类 ， 求 取 其 平均 值 ， 作 为 一 个 运动 目标 的 形 心 坐标 。 

5. 扩展 Kalman 滤波 器 估计 运动 目标 的 位 置 、 速 度 

该 滤波 器 由 6 个 参数 组 成 

T, = (pi ,Pi, Api Vrp, AV, ) (3-13) 

AF, p, 是 第 大 时 刻 测量 得 到 的 目标 中 心 坐标 位 置 ; p, 是 第 天 时 刻 预测 得 到 的 目标 中 心 坐标 
位 置 ， Am 是 第 时 刻 搜索 目标 的 范围 ; w 是 目标 在 第 大 时 刻 测量 速度 ; w 是 目标 在 第 时 
刻 的 估计 速度 ; Av, 是 目标 在 第 大 时 刻 的 估计 速度 误差 。 滤 波 需 参数 修正 为 
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Prot =P, +0, At Ap, . = Ap, + Av, At (5-14) 
Apia: =B | Prsi -Pin | +1 -B) Ap, (0<PS1) (5-15) 

A A Pr+1 T Pk 

Hey Om (LO) wa = (5-16) 
Av, =@|%,, -vo | +(1 -—a@) Av, (0<a1) (5-17) 








Api ,体现 了 预测 的 不 准确 程度 ， 同 时 也 提供 了 目标 匹配 的 搜索 范围 ， 但 实际 匹配 中 ， 





往往 扩大 搜索 范围 为 Ap, +e (e 为 预 设 正 常数 ) 。 


xk (5-14)、 式 (5-15) 、 式 (5-16) 以 及 式 (5-17) 都 是 滤波 器 各 个 参数 的 修正 公式 。 通 














过 以 上 一 系列 步 又， 实现 了 运动 背景 下 运 
动 目标 的 跟踪 ， 该 方法 即 为 基于 小 波 变换 
的 分 层 块 匹配 目标 跟踪 算法 ， 与 传统 的 块 
匹配 算法 相 比 ， 该 方法 滤 除 了 原 图 像 的 高 
频 噪声 ， 防 止 了 在 含 品 原 图 像 上 进行 块 匹 
配 不 准确 的 缺点 ; 男 外 在 低频 分 量 图 像 上 




















N x N 范围 内 进行 块 匹配 ， 相 当 于 原 图 像 
上 在 2"N x2"N 的 范围 内 进行 匹配 搜索 ， 
搜索 速度 快 。 但 是 此 算法 主要 针对 有 明显 















































图 5-8 运动 员 跑步 模板 





特征 的 运动 背景 ， 对 于 没有 明显 特征 的 纹理 背景 〈 如 海面 、 天 空 等 ) 而 言 ， 该 算法 并 不 适用 。 
综 上 所 述 ， 跟 踪 运 动物 体 的 方法 主要 有 基于 模型 的 跟踪 方法 、 基 于 区 域 的 跟踪 方法 、 基 
于 活动 轮廓 的 跟踪 方法 和 基于 特征 的 跟踪 方法 。 这 些 方法 都 可 以 应 用 于 运动 员 的 跑步 模板 ， 





如 图 5-8 所 示 。 
5.2.4 ”运动 物体 的 特征 提取 与 跟踪 


1. 区 域 标识 


由 于 前 期 的 运动 目标 检测 的 结果 不 能 达到 要 求 ， 


还 会 有 许多 小 的 误 检 区 域 。 去 除 这 
些 噪声 点 和 误 检 的 区 域 的 方法 有 很 | 预 处 理 
多 ， 可 以 用 各 种 噪声 滤波 顺 ， 还 可 以 


用 形态 学 的 许多 方法 处 理 。 但 是 ， 我 SS 


们 发 现 这 些 传统 方法 处 理 后 的 结果 都 
不 是 十 分 好 ， 对 下 一 步 的 跟踪 工作 也 
帮助 不 大 。 前 面 的 检测 其 实 是 为 后 面 
的 跟踪 做 准备 的 ， 如 果 跟 踪 的 效果 不 
好 ,那么 就 更 谈 不 上 图 像 的 理解 了 ， 
所 以 提出 了 基于 区 域 标识 的 目标 提取 














比如 图 像 中 难免 会 有 许多 小 的 噪声 点 ， 











目标 特征 











方法 。 图 5-9 所 示 为 区 域 标识 的 体系 区 域 特 
流程 。 征 提取 


当 检 测 出 场景 中 的 运动 物体 后 ， 
二 值 化 的 图 像 中 有 许多 小 的 噪声 点 和 





| 
| 生成 目 
EX 


图 $-9 区域 标识 的 体系 流程 
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成 块 的 小 区 域 ， 这 些 区 域 不 是 要 处 理 的 目标 ， 要 处 理 的 目标 是 我 们 感 兴趣 的 运动 区 域 ， 所 以 
为 了 能 够 对 运动 物体 进行 跟踪 ， 要 找到 物体 区 域 的 位 置 及 特征 ， 区 域 标识 的 体系 流程 如 图 
5-9 FIA o 

区 域 标识 就 是 用 一 个 标记 矩阵 (Marker) ， 把 二 值 图 像 中 对 其 感 兴趣 的 区 域 用 符号 的 形 
式 标记 出 来 。 

2. 区 域 标识 的 标记 和 给 阵 

由 于 检测 出 运动 目标 的 图 像 本 身 包含 很 多 信息 ,信息 如 此 丰富 的 图 像 对 于 处 理 也 不 是 很 
有 帮助 ， 因 为 采用 的 不 是 颜色 模型 ， 所 以 通 
常 要 把 检测 出 来 的 包含 运动 目标 的 图 像 进行 
二 值 化 处 理 。 但 是 ， 在 已 经 二 值 化 了 的 图 像 | ii 
中 ,通常 包含 的 运动 目标 ， 不 仅仅 是 感 兴趣 
的 区 域 。 比 如 ， 在 检测 车 流量 时 ， 发 现在 二 | 
值 化 后 的 图 像 中 经 常会 包含 骑 自 行车 的 人 和 
行人 的 运动 区 域 ,但 是 我 们 关心 的 只 是 汽车 。 
所 以 这 里 涉及 了 目标 识别 的 问题 ， 而 我 们 提 
出 的 区 域 标 识 正 是 为 了 解决 这 个 问题 ， 区 域 
标识 中 一 个 很 重要 的 概念 就 是 标记 怎 阵 。 图 5-10 “标记 矩阵 的 形式 (未 标记 处 元 素 值 为 0) 
图 5-10 所 示 为 标记 算 阵 的 形式 。 标 记 算 
阵 的 尺 才 通常 取 成 和 二 值 化 图 像 尺寸 一 样 大 ， 当 然 对 于 具体 的 问题 ， 可 以 取 的 比 二 值 化 图 像 
的 尺 才 小 。 标 记 和 矩阵 中 记录 的 是 运动 区 域 的 基本 特征 信息 ， 比 如 区 域 的 面积 、 位 置 等 ， 标 记 
和 矩阵 为 区 域 特征 的 提取 做 了 很 好 的 前 期 准备 工作 。 

3. ARID ABE Fo FY RABE A HK AR 

这 里 提出 的 标记 矩阵 和 要 处 理 的 图 像 矩 阵 是 既 有 区 别 又 有 联系 的 。 

区 别 : 

1) 标记 矩阵 是 自 定义 的 一 个 二 维 矩阵 。 和 矩阵 中 的 每 个 元 素 值 和 图 像 中 的 像素 点 的 颜色 
值 没 有 任何 直接 的 联系 ， 它 是 由 我 们 自己 定义 的 。 

2) 对 于 要 处 理 的 24 位 图 像 矩 阵 是 三 维 的 ， 每 一 维 分 别 代表 RGB 颜色 模型 中 的 一 种 颜 
色 值 ， 图 像 矩 阵 中 的 每 个 元 素 的 值 代表 实际 图 像 中 对 应 点 的 像素 值 ， 其 范围 在 0 ~255 之 间 。 

联系 : 

标记 矩阵 和 图 像 矩 阵 中 每 一 点 的 坐标 值 在 了 和 工 坐标 轴 方 向 上 完全 重合 。 

4. 二 值 图 像 预 处 理 

在 复杂 背景 中 ， 检 测 出 运动 物体 ， 并 将 其 图 像 二 值 化 后 ， 人 眼 能 很 明显 地 从 二 值 图 像 中 
观察 到 运动 物体 ， 但 是 对 于 计算 机 来 说 ， 它 无 法 知道 哪些 区 域 是 运动 物体 ， 更 无 法 知道 目标 
区 域 的 具体 位 置 。 要 想 跟 踪 上 运动 的 物体 ， 那 么 首先 必须 使 计算 机 知道 哪些 区 域 是 要 跟踪 的 
目标 。 二 值 图 像 的 预 处 理 正好 解决 了 这 个 问题 。 
区 域 标识 中 二 值 图 像 的 预 处理 ， 就 是 把 区 域 中 所 有 为 前 景 的 区 域 点 〈 比 如 像素 点 为 白 
色 的 区 域 ) 用 符号 的 形式 标记 出 来 ， 并 用 标记 矩阵 记录 下 来 预 处 理 后 的 结果 。 

为 了 预 处 理 后 得 到 性 能 良好 的 标记 矩阵 ， 区 域 标识 先后 分 为 两 个 扫描 标记 过 程 : 四 邻 域 
扫描 标记 和 八 邻 域 扫描 标记 。 
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四 邻 域 的 扫描 标记 形式 如 图 5-11 所 示 ， 八 领域 的 扫描 标记 形式 如 图 5-12 所 示 。 


OOO 
SOO Doo 
O © GOG 

图 5-11 四邻 域 扫描 形式 BI 5-12 八 邻 域 扫描 形式 





四 邻 域 扫描 标 记 ， 按 照 从 上 到 下 、 从 左 到 右 的 方向 对 二 值 图 像 进行 扫描 ， 如 图 5-13 所 示 。 
八 邻 域 的 扫描 方向 和 次 序 如 图 5-14 所 示 。 其 中 ， 图 a 为 了 方 
向 从 上 到 下 ， 匠 方向 从 左 到 右 ; 图 b 为 Y 方 向 从 上 到 下 , 对 方向 -一 一 一 
从 右 到 左 ; 图 c 为 Y 方 向 从 下 到 上 ,外 方 向 从 左 到 右 ; 图 d 为 了 = 











方向 从 下 到 上 ,天 方向 从 右 到 左 。 一 一 
5. ARID AEE P 44 KS —— 
二 值 图 像 预 处 理 后 得 到 的 标记 矩阵 中 的 区 域 可 能 是 零散 的 、 一 一 ~ 

不 连续 的 ， 并 且 区 域 的 坐标 和 面积 信息 没有 统计 出 来 。 一 一 
区 域 合 成 的 目的 就 是 将 经 二 值 图 像 预 处 理 后 得 到 的 标记 和 矩阵 








图 5-13 ”四 邻 域 扫 
描 标 记 方 向 图 





中 零散 的 、 不 连续 的 区 域 重新 进行 标记 ， 并 记录 下 来 区 域 的 坐标 






































位 置 和 区 域 中 像素 点 的 个 数 ， 即 区 域 的 面积 。 重 新 标记 后 的 标记 

和 矩阵 如 图 5-15 所 示 ， 图 中 区 域 像 素 点 的 面积 为 24。 
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图 5-14 八 邻 域 扫描 标记 方向 图 


6. 区 域 特征 的 提取 
区 域 特征 提取 的 目的 就 是 要 把 分 析 的 
目标 区 域 提 取出 来 ， 把 不 符合 要 求 的 目标 
过 滤 掉 。 这 里 可 以 根据 识别 的 具体 情况 ， 
提取 出 关于 区 域 的 不 同 特征 。 























| 
得 到 区 域 合成 的 标记 和 矩阵 后 ， 因 为 标 bey 
CAERE ae x Sa AY TB a BE D ae 


AULA, Fr Wait IRRA He Ts EP 
的 每 个 区 域 进 行 区 域 特征 的 提取 。 

对 于 场景 简单 的 情况 下 ， 如 果 运 动 的 
物体 之 间 在 形状 上 有 很 大 差别 ， 那 么 识别 
某 个 物体 时 ， 就 会 很 容易 。 比 如 ， 场 景 中 图 5-15 ”区域 合 成 后 的 标记 矩阵 
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如 果 只 有 运动 的 汽车 和 人 ， 还 有 摆动 的 枝条 ， 那 么 如 果 提 取 人 ， 就 很 简单 了 。 因 为 人 和 汽车 
以 及 摆动 的 枝条 在 区 域 面 积 上 的 差别 就 已 经 非 
常 明显 了 。 

对 于 在 户外 选择 的 视频 场景 比较 简单 ， 所 
以 对 于 要 检测 识别 出 人 体 的 情况 ， 简 单 地 选择 
了 区 域 像素 点 的 面积 ( Area) 、 区 域 长 度 (H) 
和 区 域 宽度 (W) 作为 提取 人 的 区 域 特征 ， 如 
图 5-16 所 示 。 

7. 实验 

我 们 根据 区 域 标识 的 目标 提取 方法 ， 研 制 
了 运动 目标 提取 系统 ， 并 对 其 在 室外 和 室内 分 
别 进行 了 实验 。 





























图 5-16 提取 人 的 区 域 特征 描述 





c) f) 
图 5-17 目标 提取 和 运动 检测 的 结果 比 罗 











CHE 
a) 室内 原始 图 片 b) 室内 检测 结果 c) 室内 目标 提取 结果 d) 室外 原始 图 片 
e) 室外 检测 结果 f) 室外 目标 提取 结 曙 
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首先 ,在 室内 和 室外 两 种 情况 下 ， 运 用 背景 检测 模型 ， 对 其 中 的 运动 物体 进行 检测 ， 其 
结果 如 图 5-17b 所 示 。 无 论 是 在 室内 还 是 室外 ， 都 会 受到 光线 和 其 他 一 些 因 素 的 干扰 ， 从 检 
测 的 结果 中 ， 可 以 明显 地 看 出 干扰 的 存在 ， 这 些 干扰 的 存在 对 下 一 步 对 目标 进行 识别 是 非常 
不 利 的 。 
但 是 ， 当 我 们 对 检测 结果 进行 区 域 标识 后 ， 根 据 具体 的 区 域 特征 ， 就 很 好 地 检测 出 了 运 
动 目 标 ， 如 图 5-17c、f 所 示 。 
5.2.5 目标 的 识别 与 分 类 


目标 识别 集 计 算 机 视觉 、 数 字 图 像 处 理 、 数 字 信 号 处 理 、 光 学 、 物 理学 、 几 何 学 、 应 用 


数学 、 模 式 识别 及 人 工 智能 等 多 种 学 科 知识 于 
运动 区 域 缓冲 器 





















































一 体 。 从 信息 处 理 的 层次 研究 视觉 信息 的 认 知 
过 程 ， 研 究 视觉 信息 处 理 的 计算 理论 、 表 达 与 
计算 方法 ， 是 目前 开业 的 一 大 热点 。 

在 前 面 ， 对 目标 分 类 的 方法 已 经 做 了 详细 
介绍 ， 此 处 不 再 袭 述 。 我 们 提出 的 方法 具有 很 - 
好 的 通用 性 ， 当 改变 区 域 特征 后 ， 跟 踪 的 物体 
就 可 以 转换 。 这 样 ， 利 用 我 们 的 算法 ， 就 可 以 
实现 对 不 同形 状 和 种 类 运动 物体 的 分 类 ， 但 是 图 5-18 运动 目标 分 类 框图 
它们 的 实现 过 程 基 本 是 一 样 的 ， 如 图 5-18 所 示 。 


5.2.6 运动 体 运 动 状态 估计 


在 图 像 序 列 中 跟踪 运动 物体 ， 实 际 上 就 是 在 帧 间 把 已 知 的 运动 物体 与 在 新 一 帧 中 检测 到 
的 运动 区 域 匹配 起 来 。 所 以 跟踪 主要 是 处 理 每 一 帧 中 检测 到 的 运动 区 域 与 下 一 帧 的 运动 区 域 
匹配 的 问题 。 在 匹配 过 程 中 可 能 出 现下 列 儿 种 情况 : 

1) 在 新 一 帧 中 出 现 了 一 个 前 景 运动 区 域 , 但 是 该 运动 区 域 不 能 与 上 一 帧 中 任何 已 知 物 
体 对 应 。 在 这 种 情况 下 ， 把 这 个 前 景 运动 区 域 作为 新 出 现 的 运动 物体 来 处 理 。 

2) 一 个 已 知 的 运动 物体 不 能 与 新 一 帧 中 任何 前 景 运动 区 域 相 对 应 ， 那 么 这 个 物体 可 能 
已 经 出 了 观测 区 域 , 或 者 是 被 背景 区 域 遮挡 住 ， 所 以 不 能 被 观察 到 。 这 时 认为 该 运动 物体 已 
RER, 

3) 一 个 已 知 的 运动 物体 与 唯一 前 景 运动 区 域 相对 应 。 这 种 情况 在 跟踪 中 是 最 好 的 情 
况 ， 这 时 就 认为 新 一 帧 中 检测 到 的 前 景 运动 区 域 就 是 上 一 帧 中 已 知 的 运动 物体 。 这 样 ， 我们 
就 可 以 利用 运动 物体 在 新 一 帧 中 得 到 的 观测 值 来 更 新 描述 该 运动 物体 的 状态 向 量 。 

4) 一 个 已 知 的 运动 物体 与 多 个 运动 前 景区 域 相对 应 。 这 种 情况 发 生 在 类 似 人 群 跟踪 
时 ， 是 由 于 物体 分 裂 成 单独 个 体 造成 的 。 

5) 多 个 已 知 运动 物体 与 一 个 运动 前 景区 域 相对 应 。 这 种 情况 发 生 在 物体 互相 遮挡 
时 。 

运动 物体 在 场景 中 的 运动 状态 是 不 断 变 化 的 ， 为 了 跟踪 物体 的 运动 ， 就 要 对 物体 的 运动 
状态 进行 佑 计 ， 卡 尔 曼 滤波 器 是 一 种 递 推 线性 最 小 方差 估计 ， 具 有 估计 快速 准确 的 优点 。 本 
节 使 用 卡尔 曼 滤波 带 对 人 体 的 运动 状态 进行 估计 ， 并 且 根 据 估计 出 的 运动 状态 对 物体 运动 进 






跟踪 目标 缓冲 器 
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行 跟踪 。 
5.2.7 卡尔 曼 滤 波 器 在 物体 运动 跟踪 中 的 应 用 


所 谓 跟 踪 就 是 可 以 对 于 图 像 序列 中 的 运动 物体 ， 提 取 它 的 某 些 特征 ， 并 且 把 这 些 特征 从 
一 幅 图 像 到 另 一 幅 图 像 匹配 起 来 的 过 程 。 如 果 把 所 有 的 这 些 图 像 重 和 登 起 来 ， 可 以 得 到 这 个 运 
动物 体 的 运动 轨迹 ， 所 以 运动 物体 的 跟踪 也 可 以 看 作 是 对 运动 物体 的 运动 状态 的 估计 。 在 物 
体 运 动 跟踪 中 ， 可 以 根据 从 当前 帧 中 量 测 到 的 物体 位 置 ， 利 用 卡尔 曼 滤 波 器 对 当前 帧 中 的 物 
体 的 位 置 、 速 度 、 加 速度 进行 估计 ， 同 时 可 以 利用 这 个 估计 值 对 物体 在 下 一 帧 中 的 位 置 做 出 
预测 。 

下 面 以 对 人 体 的 运动 跟踪 为 例 ， 来 曾 述 卡尔 曼 滤 波 器 在 运动 物体 跟踪 中 具体 应 用 方法 。 
由 于 人 体 存 在 着 自 运动 ， 从 而 导致 物体 的 形状 和 面积 发 生 周期 性 变化 ， 但 是 人 体 的 形状 是 对 
称 的 ， 所 以 人 体 的 中 心 治 着 人 体 的 运动 方向 稳定 地 和 平移。 为 了 准确 估计 人 体 的 位 置 和 人 体 运 
动 的 速度 ， 选 用 人 体 的 中 心 作 为 特征 点 ， 这 样 就 避免 了 由 于 人 体形 状 周期 性 变化 所 造成 的 影 
响 。 为 了 减 小 计算 复杂 度 ， 为 每 个 人 体 设置 了 两 个 卡尔 曼 滤波 器 用 于 估计 人 体 的 运动 状态 。 
一 个 滤波 器 用 于 估计 人 体 中 心 了 方向 上 的 运动 状态 ; 另 一 个 滤波 器 用 于 估计 人 体 中 心 了 方 
向 上 的 运动 状态 。 

人 体 的 运动 状态 可 以 由 向 量 下 = (s,, v,, ap, 8,, v,, a,)' 表示 ， 其 中 s, v, a, 分 别 
表示 人 体 中 心 在 方向 上 的 位 移 、 速 度 、 加 速度 ; s,、v,、a, 分 别 表示 人 体 中 心 在 了 方向 上 
的 位 移 、 速 度 、 加 速度 。 由 于 每 个 人 体 都 使 用 两 个 卡尔 曼 滤波 器 分 别 对 他 中 心 的 方向 、Y 
方向 的 运动 状态 进行 估计 ， 所 以 可 以 把 向量 XX 分解 为 两 个 向 量 , 分 别 代表 他 中 心 在 X 方 癌 
和 了 方向 上 的 运动 状态 ,和 ,= (s,, v,, a) 和 四 ,= (s,, v,, a,) "。 由 于 了 方向 上 的 运动 
状态 处 理 与 方向 上 的 处 理 是 相同 的 ， 所 以 这 里 只 讨论 XX 方向 上 的 处 理 。 

人 体 中 心 运动 状态 的 系统 方程 为 














1 
Sik 三 二 (5-18) 
DE | taspa T (5-19) 
Qs k =a; k-1 +0,,12 (5-20) 


式 中 ，s, RR k WARR O X FEAE; va BEAN k WEEN, A AS Paty X Dr m AY 
度 ; a, ,表示 第 帧 时 人 体 中 心 方 向 的 加 速度 。 可 以 把 式 (5-18) ~ 式 (5-20) 写成 矩阵 的 











形式 为 
Las 
Sak 1 T ras Sx,k-1 0 
DE = 0 1 T Vs =1 + 0 Ox k-1 (5-21 ) 
Aak 0 0 1 Gy k-1 了 





由 于 0, ,表示 的 是 加 速度 ， 所 以 可 以 把 它 看 成 是 一 个 随机 变量 ， 在 此 处 作为 白 噪声 处 
理 。 

在 实际 应 用 中 ， 只 能 观测 人 体 中 心 在 图 像 中 的 位 移 ， 不 能 直接 观测 其 速度 和 加 速度 ， 所 
以 测量 方程 可 以 写 为 下 列 形式 ，; 
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Sik 
Ze. = (1 0 0) D | + Vig = Sug F Vaz (5-22) 
Qs 
即 量 测 方程 的 形式 为 
Z,a = HX, , + Vik (5-23) 





式 中 , H=(1 0 0)， 可 以 把 量 测 噪声 V, ,看 作 是 白 噪 声 。 

可 以 看 到 ， 系 统 的 状态 方程 和 量 测 方程 的 形式 与 标准 卡尔 曼 滤 波 器 的 状态 方程 和 量 测 方 
程 的 形式 相同 ， 所 以 可 以 用 离散 性 卡尔 曼 滤波 器 的 基本 方程 对 系统 的 状态 进行 估计 ， 也 可 以 
利用 防止 卡尔 曼 滤波 絮 发 散 的 衰减 记忆 法 和 平方 根 滤 波 相 结 合 的 方程 对 系统 的 状态 进行 评 
tt 

在 对 前 景 运动 区 域 检测 之 后 ， 如 果 发 现 新 的 人 体 ， 就 为 这 个 人 初始 化 两 个 卡尔 曼 滤 波 
器 ， 分 别 用 来 对 这 个 人 的 中 心 的 天 方向 和 了 方向 和 运动 状态 进行 估计 。 由 于 卡尔 曼 滤 波 器 使 
用 的 是 递 推 的 估计 方法 ， 所 以 只 要 给 定 滤波 方程 的 初始 状态 值 和 初始 估计 均 方 误 差 阵 ， 就 可 
以 利用 当前 的 测量 值得 到 系统 状态 的 估计 值 。 当 检测 到 新 的 人 体 出 现时 ， 在 这 里 使 用 第 一 次 
得 到 的 测量 值 对 跟踪 人 体 的 系统 状态 向 量 进行 初始 化 。 






































Xo =| vo |=] 0 (5-24) 
La oj LO 
| so | [2,0 
Yo =] %0 | =| 0 (5-25) 
Laod LO 
式 中 ，zx.o 和 二。 是 人 体 中 心 的 并 和 了 方向 的 测量 值 。 两 个 卡尔 曼 滤 波 需 的 估计 均 方 误差 阵 的 


初始 值 都 设置 为 


100 0 0 
P,=| 0 100 0 (5-26) 
0 0 100 








这 样 可 以 通过 卡尔 曼 滤 波 器 根据 当前 的 测量 值 ， 对 人 体 中 心 了 方向 和 Y 了 方向 的 位 移 、 
速度 、 加 速度 进行 估计 ， 根 据 滤波 方程 对 人 体 中 心 在 下 一 帧 中 的 位 移 、 速 度 、 加 速度 进行 预 
测 ， 如 果 在 下 一 帧 中 检测 到 一 个 人 体 ， 预 测 的 中 心 落 在 检测 到 人 体 的 跟踪 窗口 内 ， 那 么 就 认 
为 上 一 帧 中 的 人 体 和 这 个 人 体 相 匹配 ， 然 后 根据 新 得 到 的 测量 值 对 系统 状态 进行 更 新 。 


5.2.8 运动 物体 检测 和 跟踪 原型 系统 的 实现 


对 于 运动 物体 的 检测 和 跟踪 技术 ,我们 知道 由 于 理论 方法 和 应 用 场合 的 限制 ， 现 在 还 没 
有 很 通用 的 成 型 系统 ， 只 有 一 些 针 对 具体 问题 和 应 用 场合 的 系统 。 我 们 用 自己 的 方法 研制 了 
儿 个 运动 物体 检测 和 跟踪 的 原型 系统 。 
通过 设计 和 实现 这 些 原型 系统 ， 在 检验 了 我 们 的 理论 方法 的 同时 ， 也 帮助 我 们 发 现 了 其 
中 存在 的 实际 问题 ， 并 不 断 加 以 改进 和 完善 。 同 时 ， 原 型 系统 的 设计 和 实现 也 是 我 们 对 运动 
物体 检测 和 跟踪 技术 的 有 益 探索 和 实践 。 














1. 原型 系统 简介 
(1) 原型 系统 的 运行 环境 
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操作 系统 Microsoft Windows 2000 中 文 版 
Ab TH at Intel Pentiun Il, 1.7GHz 
内 存 128MB 


磁盘 可 用 空间 40GB 


编程 语言 Microsoft Visual C ++6.0 

(2) 原型 系统 的 结构 ”如 图 5-19 所 示 ， 实 现 的 原型 系统 包括 两 大 部 分 : 一 个 是 运动 物 
体 的 检测 部 分 ; 男 一 个 是 运动 物体 的 跟踪 部 分 。 每 个 部 分 又 分 为 两 个 模块 ， 分 别 为 多 目标 检 
测 与 识别 模块 、 车 流量 检测 模块 、 单 人 跟踪 模块 和 多 人 跟踪 模块 。 





2. 多 目标 检测 与 识别 模块 

为 了 验证 区 域 标识 和 目标 提取 算 
法 的 可 靠 性 ， 选 用 了 包含 有 不 同 运动 
目标 的 图 像 对 其 进行 处 理 ， 同 时 也 验 
证 算法 的 实用 性 。 

我 们 选择 主要 包含 两 个 目标 的 图 
像 序列 : 一 个 目标 是 行人 ; 另 一 个 目 
标 是 篮球 。 由 于 接 下 来 的 部 分 要 专门 
对 人 体 进 行 检 测 和 跟踪 ， 所 以 在 这 里 
以 篮球 为 检测 的 目标 。 多 个 运动 物体 
的 检测 以 简单 的 背景 差 和 区 域 标识 ， 
基础 ， 进 行 识别 和 检测 ， 目 标 特征 主 
要 是 物体 的 形状 信息 。 其 系统 实现 框 
图 如 图 5-20 所 示 。 

其 中 ,为 了 体现 区 域 标识 算法 的 
适用 性 ,在 背景 差 方法 中 ， 只 选择 一 
帧 图 片 作为 背景 ， 如 图 5-21 所 示 。 在 



































多 目标 检测 与 识别 模块 
车 流量 检测 模块 








单 人 跟踪 模块 


多 人 跟踪 模块 


图 $-19 ”原型 系统 的 结构 











这 个 系统 中 ， 选 择 的 复 球 特征 是 它 的 面积 S$， 血球 的 区 域 面积 5 应 满足 : 200 像素 <$<350 








像素 ， 如 图 5-22 所 示 。 





当前 图 像 








区 域 标识 








BS 











5-20 ”目标 检测 系统 的 结构 机 


目标 识别 
目标 特征 


IFAT 


图 
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Al521 背景 图 像 图 $-22 ”当前 图 像 
图 5-23 所 示 为 黑白 二 值 化 处 理 后 的 检测 结果 图 像 。 























图 523 检测 的 结果 图 像 
图 5-24 所 示 为 多 目标 检测 与 识别 模块 的 程序 主 界面 。 
3. 单 人 跟踪 模块 

人 体 跟 踪 是 目前 比较 前 沿 的 








科研 课题 ， 国 内 外 从 事 这 方面 研 
究 的 人 员 和 机 构 很 多 。 我 们 用 自 
己 研究 的 运动 物体 检测 和 跟踪 算 
法 实现 了 单 人 运动 检测 和 跟踪 的 








模块 ， 实 现 的 方法 主要 是 运用 了 S 





区 域 标识 和 运动 搜索 。 

(1) 模块 总 体 设计 实现 单 
人 的 跟踪 时 ， 首 先 要 考虑 的 问题 
就 是 运动 人 体 的 检测 问题 。 如 果 
我 们 选用 一 个 非常 复杂 的 场景 ， 
比如 机 场 、 公 路 和 码头 等 ， 由 于 
场景 复杂 ， 检 测 的 效果 十 分 不 好 ， 
而 且 经 党 出 现 误 检 和 漏 检 现 象 ， 
这 样 使 下 一 步 的 跟踪 基本 无 法 进 
行 ， 也 就 无 从 验证 我 们 提出 方法 
的 效果 ， 所 以 选用 了 只 包含 单 人 
运动 的 场景 ， 虽 然 场景 简单 , 但 . 
足以 说 明 问 题 。 图 5-24 多 










































































目标 检测 与 识别 模块 程序 
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这 个 模块 主要 包括 两 个 部 分 : 一 个 是 运动 物体 的 检测 与 识别 ， 男 一 个 是 运动 物体 的 跟 
踪 。 

(2) 模块 算法 设计 本 模块 的 实现 包括 运动 区 域 的 检测 、 区 域 标识 、 人 体 识别 和 人 体 
运动 区 域 搜 索 等 算法 。 

1) 运动 人 体检 测算 法 对 于 人 体 运动 检测 的 方法 ， 应 用 了 第 4 章 中 提出 的 运动 物体 检 
测 方 法 。 从 实验 的 结果 可 以 看 出 ， 这 种 运动 物体 检测 的 方法 ， 能 够 有 效 检测 出 场景 中 的 运动 
物体 ， 并 能 够 有 效 处 理 运动 物体 的 影子 问题 。 

2) 区 域 标 识 和 人 体 识别 .检测 出 运动 的 物体 后 我 们 发 现 ， 场 景 中 的 运动 物体 ， 不 仅仅 
有 要 跟踪 的 人 ， 还 有 一 些 其 他 的 运动 点 ， 比 如 枝条 的 摆动 、 比 较 大 的 光线 变化 等 。 为 了 对 场 
景 中 的 人 体 进行 跟踪 ， 我们 采用 了 区 域 标识 的 方法 。 

区 域 标识 的 结果 : 

中 场景 中 的 运动 区 域 总 数 ; 

@) 每 个 运动 区 域 的 准确 位 置 ; 

(3 每 个 运动 区 域 的 面积 ; 

@ 标 识 哪 些 运 动 区 域 是 人 体 运 动 区 域 。 

可 以 看 出 ， 区 域 标识 的 结果 使 我 们 知道 场景 中 所 有 检测 出 来 的 运动 区 域 的 信息 。 在 提取 
哪些 区 域 是 运动 人 体 时 ,给 出 了 人 体 区域 的 特征 经 验 值 ， 并 简单 地 选择 了 区 域 像素 点 的 面积 
area, KIRKE 万 和 区 域 宽度 多 作为 识别 人 的 区 域 特 征 。 

由 于 无 法 从 当前 帧 图 像 中 获取 前 一 帧 图 像 或 者 后 一 帧 图 像 中 的 信息 ， 所 以 我 们 建立 了 一 
种 数据 结构 ， 用 以 保存 每 一 帧 图 像 中 的 运动 区 域 的 基本 信息 。 这 样 就 在 相 邻 帧 图 像 中 建立 了 
联系 。 运 动 区 域 的 相关 数据 结构 定义 如 下 : 

typedef struct tag REGIONINFO | 

LONG regionSum; /* 运动 区 域 的 总 数 */ 

Struct | 

LONG left; 人 # 运 动 区 域 最 左 坐 标 值 */ 

LONG top; 入 运动 区 域 最 上 坐标 值 */ 

LONG right; /* 运动 区 域 最 右 坐 标 值 */ 

LONG bottom; 从 运 动 区域 最 下 坐标 值 */ 

LONG width; 从 运动 区 域 的 宽度 */ 

LONG height; 运动 区 域 的 高 度 */ 

LONG area; 人 * 运 动 区 域 的 像素 点 面积 */ 

BOOL isTarget; 从 运动 区 域 是 否 为 目标 区 域 的 标记 */ 

| regions [ 1000] ; 

| REGIONINFO ; 

区 域 标识 的 结果 就 是 用 上 面 的 数据 结构 记录 该 帧 图 像 中 的 运动 物体 信息 。 

3) 人 体 运 动 区 域 搜索 : 为 了 记录 人 体 的 运动 特性 ， 定 义 了 如 下 的 数据 结构 : 

struct HUMAN | 

int x0; /4 人 体 中 心 的 横 坐 标 */ 

int yO; 从 人 体 中 心 的 纵 坐 标 */ 





































































































174 





int vx; /* 人 体 中 心 在 横 轴 方向 的 运动 速度 / 

int vy/; /* 人 体 中 心 在 纵 轴 方向 的 运动 速度 */ 

l; 

我 们 首先 对 前 一 帧 图 像 中 人 体 区 域 的 中 心 坐标 点 的 值 (x，y) 用 卡尔 曼 滤 波 器 的 量 测 
方程 Z, ;= HX, ;+V,, 在 对 方向 和 了 方向 上 预测 区 域 中 心 坐标 在 下 一 帧 图 像 中 的 位 置 ， 记 为 
(x',y')。 人 体 区 域 的 中 心 坐 标 如 图 5-25 所 示 。 














图 5-25 ”人体 区 域 中 心 坐标 表示 


卡尔 曼 滤 波 器 的 量 测 方 程 Z,, = HX, ,+ ,的 矩阵 形式 为 








1 
Sx,k 1 T 27 Sx,k-1 0 
Vx k = 0 1 T Uy k-1 + 0 Ox k-1 (5-27) 
a. 0 0 1 CQ-1 7 








可 以 看 出 ， 这 种 形式 比较 好 理解 ， 并 且 发 现 一 个 新 的 人 体 后 ， 人 体 中 心 点 的 最 初速 度 的 
确定 对 我 们 使 用 卡尔 曼 滤 波 器 效果 的 好 坏 起 关键 作用 。 我 们 发 现 一 个 人 体 后 用 前 n 帧 来 确定 
物体 的 初始 速度 vo。 和 vw。， 取 n 为 偶数 。 最 初 确 定 物 体 初始 速度 wa 的 方法 如 下 式 所 示 : 












































Xa +H, FO FX Kn) 1 Tian- NI 
Vo = n/2 (5-28 ) 
同 理 可 以 确定 wo。 
在 人 体 的 运动 方向 上 ,我们 以 两 倍 的 人 体 宽度 为 搜索 范围 ， 当 人 体 中 心 点 超出 此 范围 时 
就 要 更 新 搜索 速度 。 当 得 到 运动 人 体 中 心 的 预测 坐标 后 ， 用 此 坐标 与 下 一 帧 图 像 中 的 运动 人 
体 的 中 心 华 标 进行 匹配 ， 如 果 和 下 一 帧 中 某 个 运动 人 体 的 距离 小 于 2 倍 的 物体 当前 速度 的 
值 ， 则 认为 这 两 个 区 域 对 应 同一 个 人 ， 人 体 跟 踪 完 成 。 单 人 跟踪 模块 主 界 面 如 图 5-26 所 示 。 
4. 多 人 跟踪 模块 
在 运动 物体 跟踪 领域 ,多 目标 的 跟踪 是 个 非常 有 挑战 性 的 课题 。 这 一 课题 涉及 到 的 理论 
知识 深 而 广 ， 我 们 用 前 面 提出 的 运动 物体 检测 和 跟踪 方法 建立 了 一 个 多 人 跟踪 的 模块 。 
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Beit ie) | 














图 5-26 单 人 跟踪 模块 主 界面 








图 5-27 多 人 跟踪 模块 主 界面 
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多 人 跟踪 模块 的 设计 和 单 人 跟踪 有 很 多 相似 之 处 ， 其 中 对 运动 区 域 检测 、 区 域 标识 和 人 
体 识别 ， 我 们 继承 了 单 人 跟踪 的 方法 ， 具 体 方法 参见 单 人 跟踪 模块 。 

和 单 人 跟踪 不 同 的 是 运动 搜索 部 分 。 在 场景 中 ， 两 个 物体 没有 相遇 时 ， 算 法 和 单 人 跟踪 
完全 相同 。 但 是 ， 我 们 的 搜索 算法 同时 搜索 到 两 个 运动 人 体 时 ， 也 就 是 当场 景 中 两 个 人 相遇 
时 ， 单 人 跟踪 的 算法 就 会 失效 。 

我 们 设计 了 一 个 分 类 器 来 解决 场景 中 多 个 人 相遇 情况 。 分 类 器 中 记录 着 每 个 运动 人 体 的 
形状 特征 的 信息 ， 并 且 赋 予 每 个 形状 特征 一 个 权 值 。 两 个 运动 人 体重 合 后 ， 当 再 次 分 开 时 ， 
就 要 用 分 类 器 对 两 个 人 体 运 动 区 域 进 行 分 类 。 分 类 时 ， 对 人 体形 状 的 每 个 特征 进行 判别 ， 然 
后 用 判别 的 权 值 总 和 来 确定 人 体 的 类 别 。 

由 于 我 们 选用 的 场景 中 没有 和 人 体形 状 信息 接近 的 运动 干扰 区 域 ， 因 此 选用 了 人 体 区 域 
面积 area、 区 域 的 宽度 到、 区 域 的 高 度 刀 、 区 域 宽度 高 度 的 比值 K 和 人 体 中 心 在 式 方 向 的 运 
动 速度 v, 为 分 类 器 的 特征 。 多 人 跟踪 模块 主 界面 如 图 5-27 所 示 。 


5.3 ”疲劳 检测 与 视线 追踪 技术 



































5.3.1 RBS WPF Ml 


1. 问题 的 提出 

交通 安全 问题 是 一 个 非常 重要 的 问题 。 随 着 汽车 的 大 量 普及 ， 交 通 安 全 问题 也 越 来 越 引 
起 人 们 的 注意 。 而 我 国道 路 交通 事故 的 统计 表明 ， 在 交通 事故 中 ， 主 要 由 于 驾驶 员 造 成 的 事 
故 占 90% 左右 。 而 驾驶 员 造 成 事故 的 一 个 很 重要 的 原因 就 是 驾驶 员 在 驾车 行驶 的 过 程 中 出 
现 打 上 师 的 现象 。 如 果 能 够 在 驾 怠 员 开 车 打上 师 的 同时 ,能 及 时 发 现 他 在 打上 师 ， 从 而 提醒 他 ， 那 
么 就 能 够 较 好 地 解决 这 一 问题 ， 将 给 交通 安全 带 来 极 大 的 好 处 。 

2. 解决 方法 
解决 这 一 问题 的 最 好 方法 ， 就 是 能 在 敬 驶 员 打 上 时 ， 及 时 提醒 他 。 那 么 如 何 知道 驾驶 员 
在 打上 师 呢 ?生理 学 上 认为 ， 如 果 发 现 人 眼 在 一 段 时 间 (如 5s) A, 一 直 闭 合 ， 那 么 这 个 人 
BE BUD EFT Hk 

在 上 面 介绍 的 精确 的 眼睛 定位 的 基础 上 ， 本 节 设 计 了 一 套 驾 驶 预警 系统 来 监测 并 提醒 轰 
Osh i AN BEFT WTP HE ALAN] 5-28 所 示 。 


输入 监控 检测 驾驶 员 
图 像 状态 
























































图 5-28 ”疲劳 芍 驶 预警 系统 设计 框图 


3. 技术 方法 
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利用 精确 的 眼睛 定位 技术 ， 可 以 在 图 像 中 标识 出 人 眼 的 位 置 ， 而 且 在 程序 中 ， 只 有 在 人 
眼 睁 开 的 情况 下 才能 检测 出 人 眼 。 又 因为 程序 中 每 秒 钟 要 处 理 15 ~ 20 帧 图 像 ， 所 以 可 以 近 





似 地 认为 ， 人 眼 的 位 置 在 相 邻 的 几 帧 图 片 
中 是 不 变 的 。 这 样 ,一旦 检测 到 了 人 有 眼 ， 
就 记录 它 的 位 置 作为 初始 位 置 。 在 后 面 的 
图 像 中 ， 如 果 在 初始 位 置 附近 找 不 到 人 
眼 ， 就 全 局 再 搜索 一 次 人 眼 ， 如 果 依 然 找 
不 到 ， 就 认为 人 眼 处 于 闭合 状态 。 一 旦 在 
全 局 搜索 中 找到 人 有 眼 ， 就 将 找到 的 新 位 置 
标记 为 初始 位 置 。 其 流程 如 图 5-29 所 示 。 

如 果 发 现 人 眼 在 一 段 时 间 (如 5s) 
内 有 眼睛 一 直 闭 合 ， 则 认为 操作 者 处 于 打 师 
状态 ， 从 而 发 出 报警 。 还 可 以 加 入 人 体位 
姿 的 检测 和 语音 检测 (判断 是 否 在 打 哈 
R) 来 增加 判断 的 准确 率 。 

在 程序 中 ， 我 们 设置 了 一 个 全 局 变量 





; RAG 在 整 幅 图 像 中 寻 
认为 人 眼 闭合 我 入眼 


图 












RAH 


记录 为 初始 位 
置 ， 以 后 则 在 
初始 位 置 附近 
寻找 眼睛 








找到 找 不 到 





5-29 ”疲劳 驾驶 预警 系统 流程 


eyeopennum 来 记录 连续 一 段 时 间 内 人 有 眼 睁 开 的 图 像 帧 数 。 然 后 ， 用 它 除 以 这 段 时 间 内 的 总 
的 帧 数 ， 就 能 知道 在 这 一 段 时 间 内 ， 被 检测 者 睁 眼 时 间 的 比例 ， 当 这 一 比例 小 于 某 一 阔 值 
时 ， 就 发 出 报警 而 提醒 驾驶 员 保持 清醒 。 图 5-30 所 示 为 几 幅 疲劳 检测 效果 图 。 








图 5-30 ”疲劳 检测 的 效 


H, 
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这 一 程序 基本 实现 了 所 要 求 的 功能 ， 但 只 能 检测 出 正面 人 脸 状态 。 在 实际 问题 中 ， 由 于 需 
要 考虑 各 种 场景 ， 以 及 被 检测 者 的 各 种 不 同位 置 ， 这 一 系统 还 有 竺 改进 。 另 一 个 需要 解决 的 关 
键 问题 是 ， 需 要 准确 地 判断 眼睛 的 活动 状态 ， 即 眼睛 的 开 闭 状态 。 一 种 比较 好 的 方法 是 利用 大 
量 人 眼睛 的 睁 开 和 闭合 的 图 片 来 进行 神经 网 络 的 训练 。 将 训练 好 的 神经 网 络 戏 入 到 程序 中 ， 就 
可 以 在 实际 中 判断 眼睛 究竟 是 处 于 睁 开 还 是 闭合 状态 。 这 样 就 能 达到 更 高 的 判断 准确 率 。 
5.3.2 ”视线 追踪 技术 

1. 视线 追踪 意义 

视线 追踪 是 一 个 比较 新 的 研究 方向 ， 它 具有 非常 广泛 的 应 用 范围 及 很 大 的 应 用 价值 。 在 
视线 追踪 技术 的 基础 上 ， 可 开发 出 很 先进 的 人 机 交互 系统 。 计 算 机 将 能 够 根据 人 的 视线 所 落 
在 屏幕 上 的 位 置 ， 判 断 出 人 想 要 进行 的 操作 ， 从 而 自动 执行 ， 而 不 再 需要 鼠标 的 介入 。 将 视 
线 用 于 人 机 交互 可 带 来 直接 性 、 自 然 性 和 双向 性 等 优点 。 对 于 可 视 形式 的 目标 选择 和 操纵 任 
务 , 任何 其 他 通道 (如 手 、 头 ) 都 是 在 视觉 通道 指导 下 进行 的 , 即 用 户 首先 扫描 定位 到 感 兴 
趣 对 象 , 再 引导 其 他 通道 的 选择 或 操纵 动作 。 视 线 (Visual Line) 反映 人 的 注意 方向 , 这 是 
将 其 用 作 计 算 机 输入 的 前 提 。 视 觉 交 互 兼顾 了 输入 输出 双向 性 特点 ， 即 视线 所 指 通常 反映 用 
户 感 兴趣 的 对 象 , 而 传统 手动 输入 装置 是 根据 视觉 指导 进行 操作 的 。 可 以 想象 , 避 开 其 他 通 
道 及 交互 装置 而 直接 检测 视线 输入 方向 和 位 置 来 进行 交互 便 具 有 直接 性 和 自然 性 特点 。 另 
外 ， 在 交通 安全 中 ， 追踪 驾驶 员 的 视线 能 够 知道 这 个 各 驶 员 是 否 走神 了 ， 从 而 及 时 提醒 他 ， 
避免 危险 的 发 生 ， 因 而 具有 极 大 的 应 用 价值 。 

2. 眼睛 运动 的 特点 

眼睛 看 物体 的 过 程 是 转动 眼球 使 物体 出 现在 视网膜 的 中 央 凹 中 , 因此 眼球 的 位 置 指示 了 
我 们 注视 场景 中 的 特定 区 域 。 视 线 运动 通常 表现 为 点 到 点 的 跳跃 式 扫 描 (Saccade) ， 而 并 非 
平滑 移动 (这 只 在 追踪 运动 物体 时 才 会 发 生 ) 。 例 如 , 阅读 时 人 有 眼 在 一 行 中 通常 包含 4 ~7 个 
跳动 -定位 动作 ， 一 般 注 视 持 续 200 ~ 600ms， 只 是 我 们 通常 并 未 在 意 。 但 是 眼球 为 看 清 物 体 
总 是 需要 不 停 地 做 轻微 的 抖动 ， 其 幅度 一 般 小 于 1?。 只 有 在 追随 视野 中 移动 的 物体 时 ， 才 
会 出 现 平滑 的 眼 动 而 不 是 突然 的 扫 视 。 因 此 , 利用 视线 进行 书写 和 画图 这 样 精细 的 动作 是 不 
可 行 的 。 换 言 之 ,不 能 将 眼 动 产生 的 轨迹 直接 利用 于 人 机 交互 。 男 一 类 了 眼 动 如 眼球 震颤 、 汇 
聚 、 扭 转 视线 跟踪 技术 及 装置 有 强迫 式 与 非 强 迫 式 、 穿 戴 式 与 非 穿戴 式 和 接触 式 与 非 接触 式 
之 分 ; 有 的 系统 要 求 用 户 的 头 静 止 不 动 , 对 人 机 对 话 则 没有 显著 意义 。 

3. 现 有 的 视线 跟踪 设备 

现在 已 经 有 一 些 可 用 于 实现 跟踪 的 设备 。 这 些 设备 通常 都 需要 有 一 些 特殊 硬件 的 支持 。 
视线 跟踪 装置 的 识别 精度 可 从 0. 1° 至 1° 或 2° 不 等 ,制造 成 本 也 有 巨大 差异 。 在 价格 、 精 度 
与 方便 性 等 因素 之 间 做 出 权衡 是 一 件 困难 的 事情 ， 例 如 视线 跟踪 精度 与 对 用 户 的 限制 和 干扰 
就 是 一 对 尖锐 的 矛盾 。 由 Applied Science Laboratories 制造 的 Model 3250R 视线 跟踪 需 人 允许 用 
户 的 头 运 动 ， 是 一 种 非 接 触 式 远 距 离 视线 跟踪 系统 。 该 系统 能 同时 跟踪 角膜 反射 及 瞳孔 轮廓 
形状 , 视线 可 根据 两 者 之 间 的 关系 计算 得 到 。 其 工作 原理 如 下 ; 光源 发 出 的 光线 经 红外 滤 光 
镜 过 滤 后 只 有 红外 线 可 以 通过 ; 经 过 半 反 射 镜 后 ， 部 分 红外 线 到 达 反 射 镜 ; 再 经 反射 镜 反射 
到 达 眼 球 ， 眼 球 对 红外 线 的 反射 光 经 同一 反射 镜 反 射 到 达 半 反射 镜 ; 其 中 有 部 分 红外 线 通 过 
半 反 射 镜 到 达 有 瞳孔 摄像 机 ， 从 而 得 到 眼球 的 完整 图 像 ， 再 经 软件 处 理 后 获得 视线 运动 的 数 
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据 。 图 5-31 中 ,瞳孔 摄像 机 与 光照 系统 经 半 透 镜 在 同一 坐标 轴 上 工作 ,伺服 机 构 控 制 反 射 
镜 用 于 补偿 用 户头 的 运动 。 


4. 视线 追踪 算法 

上 面 提 到 的 视线 追踪 方法 用 到 了 特殊 nl A A ma | 
的 硬件 ， 即 红外 线 光 源 和 高 精度 的 瞳孔 摄 反射 镜 
像 机 ， 在 价格 上 较为 昂贵 。 再 者 ， 红 外 线 
直接 照射 眼睛 可 能 会 对 眼睛 产生 伤害 ， 所 site NS, a > 光源 
以 这 些 视线 跟踪 设备 都 不 是 理想 的 设备 。 gi 
理想 的 视线 跟踪 设备 应 该 既 不 需要 特殊 设 
备 的 支持 ， 也 不 会 对 人 体 产生 伤害 。 也 就 [masen 
是 说 ， 应 该 设计 一 套 主要 依靠 软件 来 实现 
视线 跟踪 的 视线 跟踪 设备 。 本 节 就 是 以 这 图 5-31 一 种 远 距 离 实现 跟踪 系统 原理 图 
样 一 个 目标 为 方向 ， 想 要 设计 没有 特殊 硬件 支撑 及 对 人 体 无 伤害 的 视线 跟踪 系统 。 

在 上 面 工 作 的 基础 上 ， 提 出 了 一 种 利用 眼睛 瞳孔 和 眼角 的 相对 位 置 来 检测 人 的 视线 方向 
的 方法 ， 取 得 了 一 定 的 效果 。 此 方法 的 关键 在 于 找 出 瞳孔 和 眼 白 的 相对 位 置 。 本 节 在 找到 了 


眼睛 区 域 以 后 ， 在 这 一 区 域 进 行 
DA Z 判断 两 者 相 
了 像素 的 局 部 搜索 。 用 一 个 全 局 | sk 全 并 AMRNI 


















































变量 num 记录 黑色 像素 点 数 ， 用 出 视线 方向 
xnum 和 ynum 分 别 记 录 黑 色 像 素 
点 x 坐标 和 y 坐标 。 取 这 些 黑色 
像素 点 坐标 的 平均 值 ， 就 知道 了 瞳孔 中 心 的 位 置 ， 这 样 一 来 ， 就 可 以 根据 瞳孔 与 眼眶 的 相对 
位 置 来 大 致 判断 视线 的 方向 。 在 某 些 情况 下 ,检测 到 的 眼眶 大 小 可 能 与 实际 有 些 偏差 ,这 种 
情况 下 ， 可 以 通过 再 做 一 次 眼睛 区 域 的 白色 像素 点 的 搜索 来 找 眼 白 的 重心 点 ， 再 通过 判断 瞳 
孔 与 眼 白 重心 点 的 相对 位 置 来 判断 视线 的 方向 。 其 程序 流程 如 图 5-32 所 示 。 图 5-33 中 给 出 
了 几 幅 效果 图 。 








图 5-32 ”视线 跟踪 系统 流程 























图 5-33 ”视线 跟踪 效果 图 
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5. 小 结 


本 节 所 采用 的 视线 跟踪 方法 简单 ， 易 于 实现 ， 在 条 件 (主要 是 光照 ) 较 好 时 ， 能 达到 











一 定 的 效果 ， 但 对 于 一 般 的 场景 ， 尤 其 是 有 光照 明显 变化 的 场景 ， 由 于 人 脸 检 测 及 眼睛 定位 
的 不 稳定 性 ， 该 技术 方法 还 有 待 于 进一步 研究 。 
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第 6 章 基于 人 工 心理 的 
个 性 化 商品 导购 系统 


人 工 心理 数字 化 技术 ， 就 是 把 人 类 心理 状态 形式 化 ， 并 应 用 于 计算 机 信息 处 理 系统 之 
中 ， 以 实现 人 性 化 、 个 性 化 的 信息 服务 。 本 章 以 服装 导购 计算 机 系统 为 例 ， 叙 述 一 个 面向 
Internet 的 个 性 化 智能 商品 选 购 系统 提出 个 性 空间 的 构想 R 探讨 面向 Internet 的 个 性 化 智能 
商品 导购 空间 的 结构 框图 和 系统 功能 ; 介绍 选 购 空间 的 个 性 化 服装 选 购 交 互 系统 的 特征 空间 
的 建立 方法 。 首 次 运用 色调 、 饱 和 度 和 亮度 (HSV) 颜色 模型 算法 和 服装 商品 自身 的 设计 
理念 相 结合 的 方法 来 提取 服装 图 片 的 特征 值 ， 通 过 Photoshop 软件 来 处 理 服装 图 片 ， 建 立 特 
征 数 据 库 ; 通过 SD 算法 和 因子 分 析 技 术 实 现 了 对 用 户 情感 需求 的 “理解 ”和 对 问题 的 “ 思 
考 ”， 建 立 情感 数据 库 ， 提 出 了 基于 交互 式 遗 传 算法 (IGA) 的 在 线 智能 推理 机 模型 的 建立 
方法 ， 以 用 户 的 满意 度 评估 作为 适应 度 函 数 ， 实 现 了 主观 心理 空间 和 客观 特征 空间 的 非 线 性 
映射 ， 并 首次 将 数量 化 I 类 理论 运用 到 构造 遗传 交互 的 初始 群体 建立 中 。 同 时 ， 为 解决 进化 
时 间 过 长 导致 的 用 户 疲劳 问题 ， 采 用 自主 式 GA 来 对 用 户 历 次 所 选 的 个 体 进 行 离线 学 习 。 对 
情感 推理 机 测试 结果 的 分 析 表 明 ， 由 这 个 模型 模拟 的 情感 反应 是 符合 人 类 情感 行为 规律 的 。 
对 离线 推理 机 的 模型 设计 进行 了 更 深入 的 探讨 ， 研 究 了 径 向 基 神 经 网 络 (RBFNN) 在 建 模 
中 的 应 用 ， 与 自主 式 GA 的 比较 结果 表明 ， 采 用 RBFNN 建立 的 模型 实现 的 情感 空间 到 特征 
空间 的 映射 基本 上 是 符合 人 的 心理 反映 的 ， 说 明 这 是 一 种 较为 有 效 的 建立 服装 选 购 人 工 心理 
模型 的 算法 。 搭 建 个 性 化 智能 商品 选 购 系 统 的 网 络 平台 ， 编 制 软件 实现 系统 交互 。 实 验 结果 
表明 ， 系 统 是 实用 可 行 的 。" 

















































































































6.1 面向 Internet 的 个 性 化 智能 商品 导购 空间 


随 着 科学 技术 的 发 展 ， 相 应 地 ， 人 们 的 欲求 和 价值 观 也 发 生 了 变化 ， 进 而 社会 的 生产 形 
态 和 产业 形态 也 发 生 相 应 的 变化 ， 整 个 社会 生产 将 以 追求 个 人 的 感性 、 个 性 为 目标 ， 以 给 人 
们 带 来 喜悦 和 和 舒适 为 目的 。 正 是 在 这 种 趋势 的 影响 下 ， 个 性 空间 的 设想 被 提出 。 它 是 人 工 心 
理 理论 的 一 大 应 用 领域 ， 也 就 是 人 性 化 商品 选 购 、 设 计 和 考虑 消费 者 心理 的 市 场 开 发 。 


6.1.1 个 性 空间 的 构想 起 源 


让 我 们 看 看 身边 的 商品 世界 ， 不 知 从 什么 时 候 开 始 , “科技 以 人 为 本 ”、“ 人 体 工 学 设 
计 ” 的 叫卖 声 ， 已 成 为 商品 广告 的 一 道 新 的 风景 线 。 集 诺基亚 手机 和 明基 电脑 的 彩色 外 壳 ， 
显示 出 即使 最 先进 的 技术 成 就 ， 却 不 妨 搞 个 随和 亲近 的 扮相 ， 来 迎合 普通 人 的 喜爱 。 技 术 的 
发 展 要 围绕 人 的 需求 来 展开 ， 产品 和 环境 的 设计 要 更 好 地 适应 和 满足 人 类 的 生理 和 心理 的 特 
点 ， 这 已 逐渐 在 产品 的 设计 者 和 消费 者 中 形成 共识 。 随 着 经 济 的 发 展 ， 消 费 者 的 需求 水 平 也 
在 不 断 提高 。 从 商品 短缺 时 追求 “拥有 ”， 到 追求 良好 的 品质 ， 进 而 再 到 以 符合 个 人 需要 为 
追求 目标 ,现在 已 逐渐 转变 到 以 是 否 满足 个 人 的 嗜好 、 是 否 体 现 “个 性 ”为 追求 的 目标 。 
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人 们 对 商品 的 价值 观 也 从 追求 “ 重 、 厚 、 长 、 大 ”到 追求 “ 轻 、 薄 、 短 、 小 ”， 进 而 到 追求 
“美感 、 游 乐 、 感 性 创造 ”"。 随 着 科学 技术 的 发 展 ， 人 们 的 欲求 和 价值 观 发 生 相应 的 变化 ， 
社会 的 生产 形态 和 产业 形态 也 发 生 相 应 的 变化 ， 整 个 社会 生产 将 以 追求 个 人 的 感性 、 个 性 为 
目标 ， 以 给 人 们 带 来 喜悦 和 舒适 为 目的 。 其 变化 情况 如 岁 6-1 所 示 。 
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图 6-1 通 往 感性 社会 的 潮流 


























任何 产品 都 是 为 人 的 需要 而 设计 的 ， 从 这 个 意义 上 来 说 ， 在 产品 的 设计 过 程 中 ， 任 何 观 
念 的 形成 都 需 以 人 为 基本 的 出 发 点 。 在 如 今 这 个 产品 极 大 丰富 的 买方 市 场 环 境 下 ， 产 品 设计 
不 仅 在 于 重视 和 协调 工程 设计 ， 更 在 于 以 人 为 本 ， 努 力 通 过 设计 活动 来 提高 人 类 的 生活 和 工 
作品 质 。 人 性 化 、 个 性 化 的 设计 观念 所 强调 的 正 是 这 种 把 人 的 因素 放 在 首位 的 设计 思想 ， 强 
调 人 、 产 品 、 环 境 、 社 会 之 间 相 互 依存 、 互 促 共 生 的 关系 。 从 产品 设计 的 崇高 目标 和 境界 来 
理解 设计 的 意义 ， 从 更 高 、 更 宽 的 视野 来 认识 构成 人 类 文明 、 进 步 的 主要 因素 ， 并 用 系统 的 
观点 来 统一 这 些 因素 ， 指 导 产 品 设计 沿 着 正确 的 方向 发 展 ， 使 产品 设计 充满 人 文 关 怀 。 

总 之 ,产品 的 人 性 化 、 个 性 化 设计 是 受 多 种 影响 因素 制约 的 ， 这 些 因素 又 往往 很 复杂 
交错 在 一 起 。 因 此 ， 应 该 用 一 种 系统 的 整体 观念 ， 把 需求 、 情 感 、 美 学 及 环境 因素 等 有 机 4 
融合 ， 并 进行 综合 分 析 ， 以 此 确立 产品 设计 的 目标 。 产 品 设计 不 仅 设 计 了 产品 本 身 ， 而 且 设 
计 了 人 与 人 之 间 的 关系 ， 也 设计 了 人 的 生活 方式 。 技 术 的 进步 减轻 了 人 的 劳动 强度 ， 信 息 的 
快捷 方便 了 人 类 生活 。 当 今 飞速 发 展 的 信息 技术 在 给 人 们 带 来 巨大 物质 利益 的 同时 ， 也 带 来 
了 许多 现实 问题 ， 如 人 的 孤独 感 、 造 型 的 失落 感 以 及 自然 资源 的 枯竭 、 环 境 的 破坏 等 。 这 些 
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问题 的 产生 ， 本 质 原 因 并 不 在 于 物质 技术 的 本 身 ， 而 正 是 人 类 总 体 设 计 上 的 失衡 ， 没 有 把 人 
性 化 的 理念 系统 地 贯穿 了 人 类 的 一 切 创造 和 设计 活动 中 所 形成 的 和 恶果。 技术 越 进步 ， 社 会 越 
发 展 ， 设 计 活动 中 的 人 性 化 设计 理念 就 越 来 越 显 示 其 重要 的 作用 与 深远 的 意义 。 

个 性 空间 是 人 工 心理 理论 的 一 大 应 用 领域 ,也 就 是 人 性 化 商品 选 购 、 设 计 和 考虑 消费 者 
心理 的 市 场 开 发 。 所 谓 个 性 空间 是 在 人 工 心理 理论 的 基础 上 ， 通 过 分 析 人 类 的 情感 ， 把 人 的 
感性 需要 加 入 到 商品 的 选 购 或 者 设计 中 去 ， 从 工程 学 的 角度 实现 能 给 人 类 带 来 喜悦 和 满足 的 
商品 。 


6.1.2 国内 外 在 智能 交互 领域 的 研究 现状 


由 于 电子 商务 随 着 全 球 Internet 的 发 展 而 得 到 了 迅猛 的 增长 ， 使 之 成 为 人 工 智 能 研究 的 
新 领域 ， 同 样 它 也 是 人 工 心理 研究 的 一 个 应 用 领域 之 一 。 英 国 、 德 国 、 美 国 及 日 本 在 智能 交 
互 系统 开发 方面 进行 了 大 量 的 研究 工作 。 

在 日 本 ， 人 们 研究 了 许多 实用 的 感性 工学 系统 ， 比 较 典 型 的 有 : 中 人 性 化 居住 环境 设计 
系统 (Human Living System, HLS); @@ 乘 用 车 室内 感性 设计 支持 系统 (Interior Kansei Design 
System, IKDES); (3 文字 图 像 感性 诊断 模糊 专家 (Word Image Diagnosis Fuzzy Expert, WID- 
FE) 系统 等 。 其 中 HLS 是 一 个 典型 的 消费 者 意愿 决定 系统 ， 它 可 以 把 消费 者 对 住宅 室内 布 
局 的 感性 要 求 翻 译 成 住宅 设计 的 一 些 基本 要 素 ， 给 建筑 设计 者 提供 参考 。 在 利用 HLS 进行 
住宅 设计 时 ， 并 不 是 从 房间 的 布局 开始 的 。 设 计 者 首先 了 解 住宅 消费 者 的 生活 类 型 及 相应 的 
感性 要 求 ， 然 后 以 此 为 根据 进行 住宅 设计 。HLS 把 一 个 居住 单元 分 为 外 观 、 外 部 总 体 结构 、 
大 门 、 西 式 房 间 、 和 式 房间 、 厨 房 、 浴 室 等 七 个 部 分 。HLS 的 使 用 者 首先 进入 外 观 选择 界 
面 ， 从 “ 想 要 住 在 一 个 什么 样 的 房屋 ”这 样 的 心愿 开始 ， 比 如 “ 想 要 住 在 一 个 豪华 而 又 结 
实 的 房屋 ”， 那 么 就 把 “豪华 的 ”、“ 结 实 的 ”这 样 的 感性 语 输入 给 HLS。 由 于 HLS HAX 
于 外 观 的 推理 规则 和 数据 库 ， 所 以 推理 机 构 可 以 根据 输入 的 感性 语 进行 推理 ， 推 理 的 结果 以 
一 幅 符合 感性 语 要 求 的 画面 呈现 给 用 户 。 然 后 依次 进入 其 他 选择 界面 ， 以 和 上 述 同样 的 方式 
得 出 结果 。 将 各 部 分 结果 综合 起 来 ， 设 计 者 就 可 以 得 到 关于 住宅 设计 的 总 体 方案 。 

在 德国 ，Mehrdad Jalali-Soli 等 人 在 2001 年 提出 的 基于 网 络 型 电子 商务 系统 ( EMBASSI) 
系 的 多 模型 购物 助手 。EMBASSI 是 由 德国 教育 及 研究 部 (BMBF) 资助 并 由 20 多 个 德国 大 
公司 参与 的 大 型 系统 ， 其 目标 是 研究 如 何 满 足 用 户 购物 的 预 需求 ， 多 模型 购物 助手 能 够 简单 
有 效 地 实现 用 户 的 需求 。 该 系统 考虑 了 用 户 购 物 过 程 中 的 心理 和 环境 影响 因素 。Volker Roth 
等 人 在 2000 年 提出 了 基于 移动 智能 体 (Agent) 的 网 络 个 人 商业 助手 模型 ， 该 模型 描述 了 移 
动 智 能 体 服 务 器 (Mobile Agent Server, SeMoA) 结构 ， 其 目标 主要 是 代替 用 户 从 事 高 层次 购 
物 活 动 ， 例 如 为 生日 晚会 备 办 食物 等 。Kaveh Kamyab 等 人 在 2001 年 设计 了 动画 Agent， 并 
用 在 虚拟 商城 中 ， 提 出 了 多 智能 体 结构 的 虚拟 购物 助手 ， 通 过 对 用 户 购物 信心 、 期 望 和 目标 
的 分 析 提 取 ， 研 究 了 购物 过 程 的 个 性 化 、 对 话 性 、 可 信和 度 和 多 模型 交互 性 ， 并 运用 模糊 建 模 
构建 用 户 对 产品 的 期 望 和 感知 。Yasmine Arafa 等 人 在 2000 年 提出 了 赋予 独特 个 性 的 并 充分 
考虑 用 户 文化 和 社会 地 位 的 电子 公共 安全 联合 (e-PSA) 模型 ， 并 探讨 了 模型 在 面对面 智能 
对 话 交互 通信 中 的 性 能 及 其 可 行 性 。 从 中 可 以 看 到 智能 体 在 研究 中 的 广泛 使 用 。 

在 人 工 智 能 研究 中 ， 智 能 体 概念 的 回归 ， 并 不 仅仅 是 因为 人 们 认识 到 了 应 该 把 人 工 智 能 
各 个 领域 的 研究 成 果 集 成 为 一 个 具有 智能 行为 概念 的 “人 ”， 更 重要 的 是 人 们 认识 到 了 人 类 
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智能 的 本 质 是 一 种 社会 性 的 智能 ， 人 类 绝 大 部 分 的 活动 都 涉及 多 个 人 构成 的 社会 团体 ， 大 型 
复杂 问题 的 求解 需要 多 个 专业 人 员 或 组 织 协作 完成 。 要 对 社会 性 的 智能 进行 研究 ， 构 成 社会 
的 基本 构件 “人 ”的 对 应 物 “ 智 能 体 ” 理 所 当然 地 成 为 人 工 智 能 研究 的 基本 对 象 ， 而 社会 
的 对 应 物 “ 多 智能 体系 统 ”( Multi Agent Sysfem, MAS) 也 成 为 人 工 智能 研究 的 基本 对 象 。 

分 布 式 人 工 智能 (Distributed Artificial Intelligence) 是 随 着 计算 机 网 络 、 计 算 机 通信 和 
并 发 程序 设计 技术 而 发 展 起 来 的 一 个 新 的 人 工 智能 研究 领域 ， 主 要 研究 在 逻辑 上 或 物理 分 散 
的 职能 系统 之 间 如 何 相互 协调 各 自 的 职能 行为 ， 实 现 问题 的 并 行 求解 。 分 布 式 人 工 智能 研究 
为 在 计算 机 网 络 环境 下 设计 和 建立 大 型 复杂 智能 系统 提供 了 有 效 的 途径 ， 体 现 了 新 一 代 软 件 
设计 的 思想 。 智 能 体 ， 尤 其 是 MAS 作为 分 布 式 人 工 智 能 的 一 个 主要 方向 ， 已 成 为 人 工 智能 
(AL) 研究 的 一 个 热点 。 
智能 体 是 一 种 处 于 一 定 环 境 下 包装 的 计算 机 系统 ， 为 了 实现 设计 目的 ， 它 能 在 这 个 环境 
下 灵活 自主 地 活动 。 一 个 智能 体 的 最 基本 特性 应 当 包括 响应 性 、 自 治 性 、 面 向 目标 性 和 针对 
环境 性 ， 然 后 根据 其 应 用 情况 可 以 再 拥有 其 他 特性 。 多 智能 体系 统 是 由 多 个 智能 体 组 成 的 集 
合 ， 智 能 体 之 间 通 过 通信 协商 和 协作 来 共同 完成 单个 智能 体 不 能 完成 的 任务 。 对 于 MAS 的 
研究 主要 强调 从 整体 上 对 系统 行为 进行 分 析 和 定义 。 多 智能 体系 统 的 研究 领域 包括 许多 方面 
如 系统 的 组 织 结构 、 智 能 体 间 的 通信 、 智 能 体 间 的 协作 与 协商 、 智 能 体系 统 的 机 器 学 习 、 智 
能 体系 统 的 动态 特性 等 。 

MAS 中 ， 不 同 的 智能 体 之 间 及 智能 体 与 环境 之 间 需 要 进行 信息 交互 ， 以 便 进行 协商 与 
协作 共同 完成 目标 。 多 智能 体 协调 是 指 具 有 不 同 目 标的 多 个 智能 体 ， 对 其 目标 资源 等 进行 合 
理 安排 ， 以 协调 各 自行 为 ， 最 大 程度 上 实现 各 自 目标 。 多 智能 体 协作 是 指 多 个 智能 体 通 过 协 
调 各 自行 为 ， 合 作 完 成 共同 任务 。MAS 中 的 交互 有 两 种 类 型 : 正 关 系 和 负 关 系 。 负 关系 导 
致 冲突 ， 要 消除 冲突 必须 进行 协商 ; 正 关系 表示 智能 体 可 以 通过 协作 实现 互惠 互利 。 与 单 智 
能 体 学 习 相 比 ， 多 智能 体 学 习 受 到 智能 体 间 交互 的 影响 ， 具 有 动态 性 和 并 发 性 ， 不 仅仅 是 单 



























































































































































智能 体 学 习 的 扩充 。 按 照 学 习 的 不 同 ， 多 智能 体 学 习 可 以 分 为 五 个 范畴 系统 : 组 织 的 学 习 、 
智能 体 模 型 学 习 、 协 调 学 习 、 一 致 性 学 习 和 通信 学 习 。 智 能 体 的 自主 性 和 系统 的 协调 机 制 使 




















得 多 个 MAS 在 描述 复杂 系统 方面 具有 优越 的 特点 : 中 分 布 性 信息 处 理 ， 智 能 体 间 可 以 通过 
消息 机 制 进行 交互 和 协调 ， 适 于 并 行 操 作 。@ 适 应 性 ， 对 于 环境 的 变化 和 不 确定 性 ， 智 能 体 
可 以 在 协调 机 制 下 通过 交互 和 自学 习 适 应 新 的 环境 。@ 开 放 性 ， 智 能 体 无 论 从 概念 还 是 从 实 
现 上 都 是 一 种 封装 模型 ， 其 内 部 结构 和 算法 可 以 由 不 同人 在 不 同时 间 、 地 点 采用 不 同方 法 实 
现 ， 通 过 标准 消息 接口 加 入 到 MAS, OSHEE, IFAB FH, MAS 可 以 通过 智能 体 交 互 
协调 进行 参数 调整 来 保持 系统 的 性 能 水 平 。 

同样 ， 在 国内 这 一 领域 的 研究 也 慢 慢 地 展开 ,例如 浙江 大 学 2002 年 开发 的 建立 在 多 个 
服务 器 基础 上 的 EasyMall 系统 ， 利 用 blaxxun 实现 顾客 与 虚拟 环境 的 交互 ,该 系统 利用 
VRML (虚拟 现实 建 模 语言 ) Java3d, XML (扩展 性 标识 语言 ) 以 及 计算 机 网 络 技术 来 实 
现 多 用 户 的 交互 式 虚 拟 环 境 ， 在 这 个 环境 中 ， 每 个 顾客 都 有 自己 的 用 户 化 身 ， 可 以 自由 地 和 
其 他 的 用 户 化 身 、 商 城中 的 商品 以 及 智能 体 交 流 。 商 业 智 能 (Business Intelligent) 作为 人 工 
智能 的 一 个 独立 研究 分 支 已 经 得 到 了 迅速 发 展 。 在 Internet 技术 迅速 普及 的 今天 ， 面 向 Inter- 
net 的 信息 获取 与 处 理 技术 已 成 为 当代 计算 机 科学 与 技术 领域 中 迫切 需要 研究 的 课题 ， 将 人 
工 智能 和 情感 信息 处 理 技术 应 用 于 这 一 领域 是 人 工 心理 理论 的 研究 方向 之 一 ， 也 是 人 工 智 能 


















































188 





走向 应 用 的 一 种 新 的 契机 与 突破 口 。 
但 是 这 些 研 究 大 多 集中 在 系统 网 络 功 能 的 实现 上 ， 对 用 户 购 物 心理 的 探讨 并 没有 深入 许 
多 ， 所 以 本 节 更 侧重 于 人 工 心理 模型 的 研究 及 它 在 实际 中 的 应 用 。 


6.1.3 个 性 化 智能 商品 导购 空间 的 结构 与 功能 


自从 工业 革命 之 后 ， 人 类 社会 最 大 的 革命 之 一 莫 过 于 市 场 经 济 的 出 现 。 想 一 想 服 装 市 
场 ， 在 工业 革命 之 前 ， 消 费 者 只 能 自己 做 衣服 或 是 从 一 家 小 的 手工 裁缝 店 里 买 一 件 ， 可 选择 
的 余地 非常 小 。 随 着 工业 革命 带 来 的 大 规模 生产 ， 消 费 者 可 以 从 大 量 的 服装 中 选择 他 们 喜欢 
的 产品 。 然 而 社会 的 进步 使 得 消费 者 领导 市 场 已 经 成 为 了 市 场 发 展 的 趋势 。 在 未 来 ， 消 费 者 
可 以 选 定 他 们 所 喜爱 的 商品 设计 ， 并 将 这 一 信息 传 给 制造 商 ， 进 而 由 制造 商 根据 客户 所 选 的 
设计 来 为 客户 生产 个 性 化 的 商品 。 

在 这 个 过 程 中 ， 由 于 客户 对 商品 的 设计 并 不 专业 ， 因 此 一 个 高 度 智能 化 的 辅助 选 购 和 设 
计 系 统 将 会 帮助 客户 来 选 定 他 们 所 想 要 的 产品 。 由 设计 者 接触 客户 ， 进 而 探寻 客户 的 喜好 是 
一 种 传统 的 实现 方法 ， 但 是 这 种 方式 费时 、 费 力 ， 而 且 价格 不 菲 ， 所 以 为 非 专业 人 士 设计 的 
智能 化 商品 导购 空间 将 成 为 一 个 有 效 的 探寻 用 户 对 不 同 商品 喜爱 的 平台 。 随 着 Internet 技术 
的 普及 ， 为 这 种 系统 提供 了 舞台 。 将 这 一 空间 搭建 在 Web 平台 上 ， 同 时 可 以 为 制造 商 收集 
和 分 析 客户 的 信息 ， 与 企业 的 客户 关系 管理 (CRM) 系统 集成 来 丰富 客户 资料 ， 更 好 地 维 
护 、 发 展 客户 关系 ， 还 可 以 与 企业 的 企 
业 资 源 管理 计划 (ERP) 系统 和 知识 管 后 台 企 业 集成 系统 


理 系 统 整 合 ， 真 正 实现 商业 智能 。 知识 管理 


AN] Hob pr O pop + 

个 性 化 智能 商品 导购 空间 结构 框图 - HOE 

用 户 资料 | 产品 数据 库 | UN IER 

如 图 6-2 所 示 。 | 用户 资料 | 产品 数据 库 咨询 信息 


在 这 个 空间 中 ， 前 台 用 户 通过 注册 
方式 将 自己 的 个 人 信息 传递 给 后 台 企 业 
集成 系统 ， 在 CRM 中 备份 客户 信息 。 peewee 


随后 用 户 通 过 选 购 界面 首先 表达 自己 对 
商品 的 要 求 ， 个 性 化 智能 选 购 系统 对 用 
户 要 求 进行 处 理 ， 从 ERP 系统 的 产品 


数据 库 中 搜寻 能 够 满足 其 心理 需求 的 商 iP. dah 
品 设计 样本 ， 并 反馈 给 用 户 。 在 用 户 选 

择 到 几 个 满意 的 设计 样本 后 ， 进 入 咨询 
界面 ， 在 虚拟 专业 设计 师 的 帮助 下 ， 对 
样本 进行 收 进 。 最 后 在 虚拟 试 衣 室 中 ， 


用 户 所 选 购 的 服装 以 3D 模型 的 方式 展 a 
现 出 来 ， 用 户 最 后 审查 后 点 击 订购 ， 完 界面 
成 个 性 化 的 选 购 。 反面 KE 


在 这 个 空间 中 ， 实 现 了 依据 用 户 的 
感性 需求 来 选 购 商品 的 功能 ， 而 不 是 传 
462 个 AGRE Ot E Jy 2x A Sha He A 
统 意义 上 的 选 购 。 因此 ， 本 节 工 作 的 重 图 6-2 个 性 化 智能 商品 导购 空间 结构 框图 
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点 在 于 个 性 化 智能 选 购 系 统 的 研究 与 应 用 介绍 ， 也 就 是 如 何 量化 用 户 的 感性 选 购 心理 ， 实 现 
用 户 情 感 空间 到 商品 特征 空间 的 映射 。 图 6-3 所 示 为 个 性 化 智能 选 购 系统 结构 框图 。 
个 性 化 智能 交互 系统 
























































符合 消费 者 心理 的 商 | 
品 展 示 
交互 界面 


图 6-3 个 性 化 智能 选 购 系统 结构 框图 
SD 一 比例 共享 式 的 资源 调度 算法 

















其 基本 技术 要 点 有 三 个 方面 ， 

1) 广泛 地 搜集 消费 者 关于 某 个 产品 对 象 所 具有 的 全 部 的 感性 要 求 或 评价 〈 用 形容 词 表 
示 的 感性 语 ) ， 在 此 基础 上 构建 感性 语 数据 库 ; 

2) 搜集 整理 关于 产品 对 象 在 设计 上 的 全 部 物理 特性 ， 并 分 解 成 基本 的 设计 要 素 ， 然 
构建 设计 数据 库 ; 

3) 通过 调查 分 析 ， 确 定 感性 语 和 设计 要 素 之 间 的 关连 性 并 模型 化 ， 设 计 能 将 两 者 连 
起 来 的 推理 机 。 

上 述 三 项 功能 必须 使 用 计算 机 来 完成 ， 而 且 还 要 运用 人 工 智能 的 理论 和 算法 ， 如 专家 系 
统 技术 、 人 工 神经 网 络 、 遗 传 算法 等 ， 必 要 时 还 可 以 使 用 模糊 理论 。 

这 里 主要 叙述 以 下 两 方面 的 工作 ， 第 一 ， 提 出 了 结合 服装 的 设计 理念 与 特点 ， 用 HSV 
颜色 模型 作为 特征 提取 的 手段 ， 建 立 商 品 特征 库 ， 第 二 ， 采 用 IGA 来 搭建 智能 推理 机 ， 实 
现 用 户 情感 空间 到 商品 特征 空间 的 映射 ， 并 对 IGA 进行 了 改进 ， 提 高 了 收敛 性 。 同 时 还 党 
试 将 神经 元 网 络 技术 应 用 到 空间 的 映射 上 ， 探 讨 了 另 一 种 较为 有 效 地 建立 商品 选 购 人 工 心理 
模型 的 算法 。 

6.1.4 个 性 化 智能 商品 选 购 系统 的 网 络 平台 搭建 方法 

随 着 Intemet 的 快速 发 展 ， 高 速 宽带 化 网 络 成 为 目前 网 络 发 展 的 主要 方向 ， 宽 带 网 络 技 

术 及 其 提供 的 服务 已 成 为 近年 来 人 们 关注 的 热点 。 和 掌握 宽带 网 络 的 应 用 、 了 解 宽带 网 络 技 


术 、 开 发 宽带 网 络 上 的 应 用 服务 是 广大 科技 工作 者 最 期 盼 的 。 活 动 服 务 器 页 面 ( Active Serv- 
er Page, ASP) 是 目前 流行 的 网 站 开发 工具 ， 它 以 VBScript 语法 为 基础 ， 使 用 简单 、 方 便 ， 
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并 可 充分 集成 Windows 平台 的 资源 及 SQL Server 数据 库 ， 是 Windows 平台 上 最 佳 的 网 站 发 展 
解决 方案 。 本 节 就 是 采用 ASP 编程 实现 了 面向 Internet 的 个 性 化 智能 商品 选 购 系统 的 网 络 平 











台 。 图 64 所 示 为 网 站 的 总 体 规 划 图 。 

ASP 是 Microsoft 公司 在 Win- 
dows 上 开发 的 动态 网 页 描述 语言 ， 
因为 它 号 称 可 以 让 服务 器 的 网 页 动 
起 来 (活化 网 站 )， 故 以 Active 
Server Page 命名 。ASP 是 微软 Visual 
Basic 家 族 中 的 一 个 成 员 ， 它 将 VB- 
Script 的 应 用 带 到 互联 网 上 ， 包 括 微 
软 Internet Explorer 浏览 器 的 客户 端 
Script 和 微软 的 Internet Information 
Server 网 络 服务 髓 端 Script 均 可 使 
用 。 








以 往 交 互 式 动态 网 页 是 由 公共 
网 关 接 口 (Common Gateway Inter- 
face, CGI) 来 完成 的 ， 用户 从 前 端 
浏览 器 输入 请 求 ， 提 交 后 送 到 后 端 
服务 器 ， 由 CGI 程序 进行 分 析 ， 并 
与 数据 库 连 接 后 进行 处 理 。 最 后 ， 
需要 的 信息 送 回 前 端 浏 览 器 显示 给 
用 户 ， 如 图 6-5 所 示 。 

ASP 功能 与 CGI 相似 , 但 具有 
CGI 不 具备 的 很 多 优点 。ASP 程序 
是 在 服务 需 端 工作 ， 客 户 端 浏 览 刀 
向 服务 器 提出 “. asp” (ASP 文件 后 
BAH. asp) 文件 请 求 ， 服 务 器 读 
取 文 件 对 其 编译 执行 ， 




























首页 
(default.asp) 


如 果 用 户 注册 后 
登陆 , 进入 这 个 
页 面 


注册 页 面 
用 户 选 择 填 写 ， 则 (register.asp) 
将 要 产生 个 性 化 界 
面 ， 用 户 选择 进入 | 此 | 











用 户 对 服装 的 大 众 化 服装 选 
购 页 面 


(login.asp) 8 


评价 页 面 


(collection.asp) 


@ 





peer 
wy 9 个 | 
论 自动 生成 的 界面 Rei 
图 6-4， 选 购 系统 网 站 规划 图 


以 动态 超 文本 标记 语言 (HTML) 文件 结果 送 给 客户 端 ， 脚 本 语言 
(VBScript, JavaScript) 不 在 客户 端 浏 览 器 执行 ， 


与 浏览 器 无 关 ， 运 行 模式 如 图 6-6 所 示 。 


ASP 主要 由 四 部 分 组 成 : HTML, ASP AEX% (Request, Response, Server, Applica- 
tion, Session 和 ObjectContext ) , ActiveX 服务 器 控件 (Ad Rotator, Active Database Access, 
File Access 等 ) 和 Script (VBScript, JavaScript 等 ) 脚本 语言 。 后 台 可 与 NT 系统 上 配套 的 


SQL 等 数据 库 相 连 ， 只 需 编 写 少 
量 的 代码 ， 即 可 在 页 面 上 执行 一 
系列 访 库 操作 ， 特 别 适合 企业 经 
营 活动 的 需要 。 使 用 ASP 所 提供 
的 内 置 组 件 对 象 ， 配合 HTML, 
VBScript 和 Java Script， 可 实现 各 
种 复杂 功能 ， 并 使 主页 呈现 丰富 














请 求 




















图 6-5 动态 网 页 CGI 运行 模式 
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多 变 的 风格 。 利 用 ASP 进行 Web 设计 ， 具 有 开发 容易 、 功 能 完备 、 形 式 完美 等 特点 ， 随 着 
NT 和 Internet 信息 服务 (Internet Information Server, IS) 在 Intranet 应 用 领域 的 覆盖 面 不 断 








扩大 ，ASP 将 成 为 企业 和 个 人 在 Internet 上 大 显 身 手 所 不 可 或 缺 的 卓越 技术 。 
请 求 














ASP 程 序 


图 6-6 动态 网 页 ASP 运行 模式 





ASP 采用 ActiveX 数据 对 象 (ActiveX Data Objects, ADO) 技术 访问 后 台数 据 库 。 其 中 
内 置 的 数据 库 访 问 组 件 ADODB 属于 数据 库 应 用 的 组 件 对 象 模型 (Component Object Model, 
COM) 构件 ， 可 以 在 多 种 环境 下 使 用 。 各 种 脚本 和 语言 均 可 调用 ADO 组 件 访 库 ， 并 利用 相 
应 的 数据 接口 显示 查询 结果 。ADO 拥有 强大 的 活力 ， 它 是 位 于 开放 式 数据 库 互 连 (ODBC) 
和 对 和 象 链接 和 般 入 数据 库 (OLE DB) 之 上 的 高 性 能 数据 操作 接口 ， 提 供 了 开放 的 数据 操作 
对 象 模型 ， 允 许 开发 人 员 使 用 任何 语言 和 统一 的 编程 模式 操作 各 种 与 ODBC 和 OLE DB FRA 
的 数据 库 。 通 过 ADO ， 开 发 人 员 可 以 用 较 少 的 时 间 操 作 比 以 前 更 为 复杂 的 数据 类 型 ， 成 为 
支持 新 一 代数 据 访问 与 连接 标准 一 一 UDA (统一 数据 访问 ) 模型 的 核心 技术 。 与 传统 的 CGI 
和 ISAPI 因特网 服务 器 应 用 编程 接口 等 访 库 方 式 相 比 ，ADO0 方案 简单 易 行 、 应 用 广泛 ,将 
成 为 站 点 访问 后 台数 据 库 的 最 佳 选择 。 从 结构 上 讲 ， 传 统 的 两 层 结构 由 于 其 自身 的 弊端 ， 正 
在 逐渐 被 三 层 体系 结 构 所 代替 。 以 往 的 客户 机 /服务 器 模式 ， 无 论 将 商业 逻辑 放 在 哪 一 端 ， 
都 将 造成 胖 客 户 机 或 服务 器 端的 沉重 负担 。 微 软 将 TS 作为 中 间 层 的 Web Server， 把 复杂 的 
FRE PC 客户 端 改 造成 为 瘦 客 户 端 ， 把 复杂 的 应 用 程序 移 到 Web 服务 器 上 ， 从 而 大 大 缓解 了 这 
一 问题 。 作 为 TS 的 一 个 组 成 部 分 ，ASP 提供 一 个 无 须 编 译 的 集成 开发 环境 ， 开 发 人 员 可 以 
把 HTML. VBScript, JavaScript, ASP 脚本 和 ActiveX 构件 等 结合 在 一 起 ， 从 而 建立 一 个 动态 
的 、 功 能 强大 的 Web 应 用 系统 。 此 外 ,使 用 ASP 开发 的 Web 应 用 程序 ， 返 回 到 前 端 是 纯 
HTML， 不 依赖 于 浏览 器 和 操作 系统 ， 且 具有 较 好 的 保密 性 。 使 用 ASP 在 先进 的 协同 应 用 程 
序 开发 模型 中 设计 应 用 程序 ， 可 以 实现 最 佳 的 性 能 、 更 好 的 安全 性 及 更 方便 的 维护 。 

从 基于 数据 库 的 管理 信息 系统 的 角度 来 看 ， 局 域 网 环境 的 管理 信息 系统 (MIS) 大 都 可 
以 迁移 到 Web 环境 中 ， 浏 览 器 /Web 服务 器 /数据 库 服 务 融 三 层 分 布 式 结构 已 势不可挡 。 目 
前 ， 微 软 公 司 所 推出 的 以 MS Windows NT Server 4.0 为 操作 系统 、IIS 3. 0 为 Web 服务 器 、 
SQL Server 6.5 为 数据 库 服务 器 、Internet Explorer 为 浏览 吉 (支持 ActiveX) 的 模式 已 成 为 
Internet 和 Intranet 上 常见 的 数据 库 应 用 系统 构架 。ASP 作为 配套 的 站 点 设计 技术 ， 可 以 根据 
浏览 器 端 提出 的 不 同 申请 动态 地 生成 相应 的 HTML 页 面 ， 从 而 可 根据 用 户 的 需要 方便 地 获 
取 数 据 。 同 时 ， 由 于 ASP 在 服务 器 端 执行 ， 很 好 地 保证 了 浏览 锅 / 服 务 需 结构 中 数据 的 一 臻 
性 。 尤 其 值得 一 提 的 是 ，ASP 支持 ActiveX Sever Components (ActiveX 服务 需 组 件 ) ， 并 可 与 
任何 ActiveX Scripting HAIA. ActiveX 以 微软 公司 的 COM 为 基础 ， 可 以 由 任何 编程 语言 
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来 编写 ， 诸 如 COBOL , VB, VC, Delphi, PowerBuilder, Java 等 ， 并 可 在 任何 Windows 平台 
上 运行 。 使 用 ActiveX 可 建立 独立 的 业务 逻辑 处 理 单元 ， 将 其 能 入 到 所 需 的 ASP 主页 中 ,不 
仅 功能 灵活 ， 而 且 具 有 很 高 的 重用 性 ， 比 较 容 易 开 发 出 具有 Internet 通信 能 力 和 具有 传统 商 
业 计 算 能 力 的 混合 应 用 。 可 以 肯定 ， 随 着 Activex 市 场 占 有 率 的 不 断 提高 ， 组 件 对 象 与 ASP 
结合 将 成 为 构造 Web 应 用 系统 的 最 常用 方式 。 


6.2 ”个 性 化 交互 系统 数据 库 的 设计 


在 个 性 化 交互 系统 中 有 两 个 重要 的 数据 库 : 一 个 是 商品 特征 数据 库 ; 另 一 个 是 客户 情感 
数据 库 。 这 两 个 数据 库 中 的 数据 准确 程度 将 直接 影响 系统 的 精确 度 。 本 节 将 对 两 个 数据 库 的 
建立 方法 进行 深入 的 探讨 。 

6.2.1 HSV 颜色 模型 及 量化 方法 

目前 图 像 颜 色 信 息 提 取 的 方法 有 : Jain 等 采用 的 RGB 通道 等 量化 的 方法 、Smith 等 提出 

的 HSV 空间 的 166 种 归 类 颜色 的 方法 、QBIC (基于 图 像 内 容 的 检索 系统 ) 采用 固定 256 种 


参考 颜色 表 的 方法 、 朱 森 良 等 提出 的 基于 聚 类 分 析 的 主 色 提取 方法 等 。HSV 颜色 模型 是 一 
种 比 RGB 颜色 模型 视觉 均匀 的 模型 ， 可 以 分 别提 取 图 像 的 色调 和 亮度 以 及 饱和 度 信 息 ， 






































此 可 以 通过 加 权 的 方法 对 图 像 中 的 色调 、 亮 度 、 饱 和 度 lucene) 
进行 综合 ， 使 得 提取 的 特征 更 接近 于 人 对 颜色 的 感知 方 z 
绿 


法 。 

HSV 颜色 模型 是 一 种 适合 肉眼 分 辩 的 模型 ， 它 把 彩 
色 信息 表示 为 三 种 属性 : EW h, WAME s 和 亮度 vw， 这 
种 颜色 模型 可 用 三 维 空间 坐标 系统 表示 。HSV 模型 的 三 
维 表 示 从 RGB 立方 体 演 化 而 来 。 设 想 从 RGB 沿 立 方 体 对 
角 线 的 白色 顶点 向 黑色 顶点 观察 ， 就 可 以 看 到 立方 体 的 
六 边 形 外 形 。 六 边 形 边界 表示 色彩 ， 水 平 轴 表 示 饱 和 度 ， 
亮度 沿 垂直 轴 测 量 。 图 6-7 所 示 为 HSV 六 棱锥 示意 图 。 

色调 h 表示 色彩 信息 ， 即 所 处 的 光谱 颜色 的 位 置 。 



































h(a fA) 

















s (BAU) 
该 参数 用 一 角度 量 来 表示 ， 红 、 绿 、 蓝 分 别 相隔 120°, as 
互补 色 分 别 相差 180*。 饱 和 度 ,为 一 比例 值 ， 范 围 从 0 ~ 图 67 HSV 颜色 本 





1， 它 表示 成 所 选 颜色 的 纯度 和 该 颜色 最 大 的 纯度 之 间 的 比率 。s =0 时 ， 只 有 灰 度 。v" 表示 
色彩 的 明亮 程度 ， 范 围 从 0 ~ 1。 有 一 点 要 注意 ， 它 和 光 强 度 之 间 并 没有 直接 的 联系 。 

从 图 像 中 一 般 都 能 得 到 RGB 三 色 值 ， 从 RGB 值 到 HSV 空间 的 转换 如 下 : 给 定 RGB 颜 
色 空 间 的 值 (C. g. b), 其 中 +r、g、be [0-255], WERE) HSV 空间 的 (h, s, v) W, 
yi v' =max (r, g, b) 

ENX r g b' Nr’ = (0' -r)/[v' -min(r,g,b) ].g’ =(0' -g)/[v' —min(r,g,b) | M b' = 
(v' -b)/[v' -min(r,g,b) |, WA 








v =v'/255 (6-1) 
s=(v' -min(r,g,b))/v’ (6-2) 
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(5 +6’) 
(1 -g’) r=max(r,g,b) All gAmin(r,g,b) 
(1 +r’) Ai g =max(r,g,b) Al b =min(r,g,b) 
(3 -b’) f g =max(r,g,b) Fil b Amin(r,g,b) 
(3 +g’) f b = max(r,g,b) Al r =min(r,g,b) 
(5-r') 若 其 他 


r=max(r,g,b) Fi g =min(r,g,b) 


Dy d 


$ 


h'= (6-3) 





和 
h=h' x60 

式 中 , r, g, be [0-255], he [0-360], se [0-1], ve [0-1], 

HSV 对 用 户 来 说 是 一 种 直观 的 颜色 模型 。 可 以 从 一 种 纯色 彩 开 始 ， 即 指定 色彩 角 户 ， 并 
让 s =v=1， 然 后 可 以 通过 向 其 中 加 入 黑色 和 白色 来 得 到 需要 的 颜色 。 增 加 黑色 可 以 减 小 ， 
而 s 不 变 ， 同 样 增加 白色 可 以 减 小 s 而 "不 变 。 例 如 ， 要 得 到 深蓝 色 ，* =1, v=0.4, h= 
240°。 要 得 到 淡 蓝 色 ，s =0.4, v=1, h=240°, 一 般 说 来 ， 人 有 眼 最 大 能 区 分 128 种 不 同 的 色 
彩 、130 种 色 饱 和 度 、23 种 明暗 度 。 如 果 我 们 用 16 位 表示 HSV 的 话 ， 可 以 用 7 位 存放 h，4 
位 存放 ，5 位 存放 v， 即 745 或 者 655 就 可 以 满足 需要 了 。 由 于 HSV 是 一 种 比较 直观 的 颜色 
模型 ， 所 以 在 许多 图 像 编 辑 工具 中 ， 应 用 比较 广泛 ， 如 Photoshop (在 Photoshop 中 叫 HSB) 
等 等 ， 但 这 也 决定 了 它 不 适合 使 用 在 光照 模型 中 ， 许 多 光线 混合 运算 、 光 强 运算 等 都 无 法 直 
接 使 用 HSV 来 实现 。 

用 HSV 空间 的 颜色 直方 图 来 描述 图 像 的 整体 颜色 特征 。 一 幅 图 像 的 颜色 一 般 很 多 ， 尤 
其 是 真 彩色 图 像 ， 因 此 直方 图 向 量 的 维 数 会 非常 多 。 若 对 HSV 空间 进行 适当 的 量化 后 再 计 
算 直 方 图 ， 则 计算 量 要 少 得 多 。 将 h、s、vw 三 个 分 量 按 人 的 颜色 感知 进行 非 等 间隔 的 量化 ， 
从 对 颜色 模型 的 大 量 分 析 和 计算 ， 可 把 色调 hh 分 成 16 份 ， 饱和 度 s 和 亮度 v 分 别 分 成 4 份 ， 
并 根据 色彩 的 不 同 范围 进行 量化 , 量化 后 的 色调 、 饱 和 度 和 亮度 值 分 别 为 h、s、v。 
0 若 有 he[345,15] 
若 he[12,25] 
若 he[25,45] 
若 he[45,55] 
若 he[55,80] 
4 h © [ 80,108 | 
4 h © [ 108,140] 
4 he [140,165] 
4 h © [165,190] 
4 h © [ 190,220] 
10 Æ h e [220,255 ] 
11 Æ he [255,275 ] 
12 #he[275,290] 
13 #he[290,316] 
14 Æ he [316,330] 
15 Æ h e [330,345] 
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0 车 se[0,0.15] 
1 #se[015,0.4 
S= eee: | (6-5) 
2 ， EE 
3 #se[0.75,1] 
0 #ve[0,0.15] 
1 #¥ve[0.15,0.4] 
V= ie ; (66) 
2 #ve[0.4,0.75] 
3 #ve[0.75,1] 











上 面 的 万 、S、V 取 值 区 间 均 为 前 开 后 闭 。 按 照 以 上 的 量化 级 ， 把 三 个 颜色 分 量 合成 为 
一 维特 征 向 量 ， 即 











L = HQsQv + SQv + V (6-7) 
WP, Qs 和 Qo 分 别 是 $ 和 了 的 量化 级 数 。 

取 0s =4, Qv=4, Wisk (6-7) 可 表示 为 

L=16H+4S-V (6-8) 

XIE, 五 、S、V 三 个 分 量 就 在 一 维 向 量 上 分 布 开 来 。 在 式 (6-8) 中 ， 对 色调 五 取 的 权 
重 为 16， 对 饱和 度 S 取 的 权重 为 4， 对 亮度 了 取 的 权重 为 1， 这 样 就 大 大 减轻 了 图 像 亮度 了 
对 检索 结果 的 影响 ， 而 且 也 减少 了 饱和 度 S 对 检索 结果 的 影响 ， 但 对 颜色 分 布 不 同 的 图 像 却 
能 很 好 地 检索 出 来 ， 故 能 充分 利用 图 像 的 颜色 信息 特征 来 满足 人 们 对 图 像 查询 的 要 求 。 同 
时 ， 根 据 式 (6-8) 可 知 , 工 的 取 值 范围 是 [0，1，2，…，255] ， 计 算 工 获得 256 柄 的 一 维 
向 量 ， 即 可 获得 图 像 的 颜色 直方 图 。 所 谓 颜色 直方 图 是 颜色 信息 的 函数 ， 它 表示 图 像 中 具有 
同 颜 色 级 别 的 像素 的 个 数 ， 其 横 坐 标 是 颜色 级 别 ， 纵 坐标 是 该 颜色 出 现 的 频率 (像素 的 个 
数 ) ， 求 颜色 直方 图 的 算法 如 下 : 

for(int i =0;1 <256;i ++ ) 
















































































T[i] =0; V 初 始 化 特征 值 
for(int k =0;k <256;k ++ ) | J Mis 256 WR — HE E EA 
for(int y=0;y <256;y ++ ) “height 为 图 像 的 高 度 
for(int x=0;x<256;x++ )| width 为 图 像 的 宽度 
if(I(x,y) = =k) ZIC * ) 为 图 像 各 像素 点 的 HSV 量化 特征 值 
T[K] ++; V 求 256 柄 的 一 维 向 量 的 特征 分 布 直方 图 




















| 
| 
为 了 简化 查询 方法 ,减少 图 像 数 据 库 的 查询 时 间 ， 提 高 图 像 的 检索 效率 ， 笔 者 把 量化 后 
得 到 的 256 柄 的 一 维 向 量 展开 成 16 x 16 的 特征 矩阵 ， 即 按照 先后 顺序 从 256 柄 的 一 维 向 量 
中 抽取 每 个 特征 作为 16 x 16 矩阵 中 的 一 个 元 素 ， 构 成 所 需要 的 特征 矩阵。 然后 把 获得 的 特 
征 和 矩 阵 转化 为 对 角 算 阵 ， 即 根据 线性 代数 知识 有 AX =AX。 其 中 ，4 为 特征 和 矩阵; A 为 矩阵 
的 特征 值 。 这 样 ， 就 可 以 求 得 此 特征 和 矩阵 的 16 个 特征 值 和 A ，…，A1。， 这 16 个 特征 值 就 是 
OO) FA FE EY ET AACR. MX 16 个 特征 值 作 为 特征 向 量 就 可 以 表达 一 幅 图 像 的 颜色 特征 ， 
这 样 就 能 减 小 图 像 特征 数据 库 的 容量 。 同 时 ， 因 用 于 查询 的 特征 向 量 只 有 16 个 元 素 ， 能 明 
显 减 少 图 像 数据 库 的 搜索 时 间 ， 提 高 图 像 查 询 的 效率 。 
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6.2.2 服装 商品 的 特点 与 设计 理念 


“设计 ”这 个 词汇 起 源 于 拉丁 语 中 的 “Designare”， 意 思 是 用 符号 表征 一 些 平面 图 。 随 
着 时 间 的 流逝 ， 设 计 一 词 的 含义 也 发 生 了 变化 。 虽 然 在 过 去 它 仅 仅 意味 着 计划 和 组 织 的 意 
思 , 但 是 现在 它 还 意味 着 相应 计划 的 结果 。 因 而 ， 可 以 说 “时 尚 的 设计 ”代表 “在 服装 所 
能 采用 的 各 式 各 样 风 格 中 做 出 一 个 选择 ”。 流 行 的 设计 包括 三 个 形体 部 分 : 轮廓 、 细 节 和 装 
饰 。 轮 廓 就 是 能 够 表达 一 件 服装 整体 特征 的 形体 上 略图。 细节 是 由 轮廓 细 分 后 的 几 个 部 分 构 
成 ,包括 领口 、 袖 子 、 裙 子 等 。 装 饰 是 所 有 最 后 完工 饰品 的 代言 词 。 因 此 在 基于 人 工 心理 模 
型 的 服装 选 购 系统 中 ， 将 服装 的 特征 主要 集中 在 细节 部 分 ， 一 般 的 细节 如 图 6-8 所 示 。 按 衣 
Sil (Collar), EX (Body), WF (Sleeve) 、 裙 子 (Skirt)/ 裤 子 (Pants) 这 几 部 分 分 别提 
取 ， 服装 的 整体 分 割 则 按照 1: 1. 618 的 黄金 段 来 处 理 的 ， 因 为 这 一 分 割 方法 在 服装 的 设计 中 
用 得 最 为 广泛 。 

在 这 里 ， 为 了 方便 遗传 算法 的 计算 ， 将 四 个 细节 部 分 的 不 同 设计 风格 用 二 进 制 数 来 表 
示 。 根 据 服 装 设 计 裁 减 专业 的 划分 ， 一 般 有 12 种 袖子 、34 种 领口 、9 种 下 装 设计 方式 ， 故 
用 二 进 制 数 表 示 时 可 分 别 将 袖子 设 为 4 位 ， 领 口 设 为 6 位 ， 下 装 设 为 4 位 。 图 6-9 ~ 图 6-11 
所 示 为 服装 各 部 分 样式 编码 。 




























































































0000 0001 0010 0011 
0100 0101 0110 0111 
1000 1001 1010 

图 6-8 服装 的 描述 细节 图 6-9 服装 袖子 的 样式 编码 








这 里 ， 对 于 下 装 用 1010 表示 裤 装 ，0000 ~ 1000 表示 9 种 裙子 的 设计 风格 ; 用 000000 ~ 
100001 表示 34 种 领口 设计 ; 用 0 表示 连 体 服装 ，1 表示 分 体 服 装 。 加 上 [0, 256] 的 颜色 
范围 用 8 位 数 表示 ， 一 共 可 构成 46 位 二 进 制 数 。 即 任何 一 张 服装 图 片 都 可 以 用 一 个 46 位 的 
二 进 制 数 来 表示 ， 而 且 不 会 出 现 重复 。 这 种 方法 充分 考虑 了 人 类 视觉 系统 对 颜色 的 感性 认 
识 、 服 装 颜色 的 多 样 性 和 服装 的 结构 ， 弥 补 了 原 有 系统 在 这 一 方面 的 不 足 ， 提 高 了 商品 特征 
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描述 的 精确 度 ， 利 于 交互 中 的 交叉 、 变 异 等 过 程 的 实现 ， 方 便 编 程 实现 。 归 一 化 的 使 用 减少 
了 特征 数据 库容 量 ， 提 高 了 图 片 的 在 线 查 询 速 度 。 
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000001 000010 000011 
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<2 
Yo 

















OD Ba 





tol alia 



























































000000 
G 
001000 (001001 只 ies 
a us 0000 0001 0010 0011 
iol 001101 001110 ooi o 
010000 ¥ 010010 £ I ; | 
Q| 9 beac 0100 0101 0110 0111 
010100 010101 010110 010111 外 
011000 011001 011010 011011 1000 
011100 011101 011110 011111 
100000 (100001 

图 6-10 服装 领口 的 样式 编码 图 6-11 服装 裙子 的 样式 编码 








6.2.3 ”服装 商品 特征 库 的 建立 


服装 选 购 系统 中 用 Photoshop 测量 颜色 ， 测 量 界面 如 图 6-12 所 示 。 

按 collar, Body, Sleeve, Skirt\Pants 这 四 部 分 分 别提 取 HS. V 颜色 在 各 部 分 的 水 平 
和 垂直 方向 的 平均 分 布 作为 图 像 特 征 。 可 先 将 图 像 治水 平和 垂直 方向 划分 成 者 干 条 ， 然 后 根 
据 计算 出 R、G、B3 色 分 量 在 水 平和 垂直 方向 的 归 一 化 分 布 。 用 上 述 方法 ， 即 可 提取 出 每 部 
分 颜色 特征 值 。10 个 训练 样本 四 部 分 的 颜色 特征 值 见 表 6-1 。 

在 表 中 ,“x” 代 表 这 部 分 的 内 容 没 出 现 ， 在 此 表 的 基础 上 ， 引 入 服装 商品 的 设计 特点 
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和 规律 ， 于 是 任何 一 张 服装 图 片 都 可 以 用 一 个 46 位 的 二 进 制 数 来 表示 ， 而 且 不 会 出 现 重复 。 
服装 图 片 的 整体 编码 方式 如 图 6-13 所 示 。 

















图 6-12 Photoshop 测量 颜色 界面 
表 6-1 10 个 训练 样本 四 部 分 的 颜色 特征 值 

























































































No 001 011 012 120 015 016 019 002 020 006 
K (Collar) 9 6 6 4 7 6 3 9 20 7 
EX (Body) 6 11 6 4 1 10.5 3 9 20 7 
袖子 (Sleeve) x 11 x x 1 7 3 9 20 8 
裙子 /裤子 (S/P) 8 5 6 4 1 12 15 2.5 20 6 
颜色 颜色 颜色 颜色 
100011 Color 1 Color 0000 Color 1010 Color 
A B C D E F G H 


图 6-13 ”服装 图 片 的 整体 编码 方式 
A 一 领口 样式 的 6 位 二 进 制 编码 
B 一 领口 颜色 的 8 位 二 进 制 编 码 
装 主体 设计 的 1 位 二 进 制 编码 (0 一 连 体 服装 ，1 一 分 体 服装 ) 
装 主体 中 上 装 颜色 的 8 位 二 进 制 编码 

FE 一 袖子 样式 的 4 位 二 进 制 编码 

Ff 一 袖子 颜色 的 8 位 二 进 制 编码 

G 一 服装 主体 中 下 装 样式 的 4 位 二 进 制 编码 

日 一 服装 主体 中 下 装 颜 色 的 8 位 二 进 制 编码 
按照 此 编码 方式 得 到 新 的 特征 值 库 的 样本 总 体 特征 值 见 表 6-2。 
表 6-2 样本 总 体 特 征 值 










































































































































































No 衣 领 (Collar) EX (Body) 袖子 (Sleeve) 裙子 /裤子 (Skirt/Pants ) 
编号 颜色 编号 颜色 编号 颜色 编号 颜色 

1 000001 9 0 16 1011 256 0010 8 

2 010011 6 1 11 1011 11 0110 5 

3 000000 6 0 6 1011 256 1001 6 
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( 续 ) 
衣 领 ( Collar) EX (Body) 袖子 (Sleeve) 裙子 /裤子 (Skirt/Pants ) 

~ 编号 颜色 编号 颜色 编号 颜色 编号 颜色 
4 011101 4 0 4 1011 256 1001 4 
5 000111 7 1 1 0100 1 1011 1 
6 001101 6 0 10.5 0010 7 0011 12 
7 001111 3 1 3 0100 3 1011 15 
8 011100 9 1 9 1001 9 0000 2.5 
9 000110 20 1 20 0111 20 1011 20 
10 011001 7 1 7 0000 8 0101 6 
11 010000 13 1 13 0000 13 0101 15 
12 010111 13 1 13 0111 13 0101 7 
13 010011 6 1 6 0100 6 1011 6 
14 011000 11 0 20 1011 20 0100 20 
15 001111 9.5 0 18 1001 9.5 0111 1 
16 011011 16 1 16 0111 9.8 1011 3 
17 011010 11 1 15 0001 15 1011 15 
18 010011 3 0 3 1011 3 0001 3 
19 000111 11 0 15 1011 15 0100 15 
20 000110 3 0 3 0010 15 1001 12 
21 011001 9 1 9 0100 7 0111 28 
22 010000 20 1 20 1001 256 0000 20 
23 010111 7 1 7 0111 20 1011 248 
24 010011 13 0 13 0000 1 1001 13 
25 000111 6 1 20 1011 20 0111 6 
26 001101 4 0 8 0100 3 0101 4 
27 011000 7 0 13 0111 256 1011 13 
28 001111 6 0 13 1011 1 0100 6 
29 000111 3 1 6 1011 7 1011 6 
30 001101 6 1 20 0001 256 1011 20 


























6.2.4 客户 情感 数据 库 的 建立 


要 建立 情感 模型 必须 对 表达 情感 的 形容 词 进行 量化 和 分 析 ， 因 此 客户 情感 数据 库 的 建立 
主要 包括 三 步 : 一 是 收集 表达 用 户 心理 的 形容 词 ; 二 是 做 语义 量化 试验 ， 由 被 调查 的 客户 评 
价 商品 图 像 ， 收 集 数 据 ; 三 是 采用 因子 分 析 法 将 数据 库 中 的 数据 进行 分 析 ， 建 立 情感 数据 
库 。 





人 们 常常 选用 形容 词 来 表述 对 于 商品 的 心理 感受 ， 如 用 “豪华 的 一 朴素 的 ”来 描述 房 
屋 装潢 ,用 “轻便 的 一 笨重 的 ”来 描述 自行 车 ， 因 此 建立 人 工 心理 模型 先 要 选取 合适 的 描述 
商品 的 形容 词 。 对 于 服装 商品 来 讲 ， 不 同 的 款式 ， 色 彩 更 是 会 让 客户 产生 不 同 的 心理 ， 如 色 
彩 、 构 图 变化 得 过 多 会 感觉 凌乱 ， 没 有 变化 会 显得 采 板 ; 对 称 的 衣服 让 人 感到 统一 稳重 的 
一 一 均衡 式 的 造型 活泼 多 变 的 ; 对 比 强 才 会 出 现 个 性 效果 ， 对 比 弱 让 人 感觉 普通 ; 服装 的 节 
奏 和 韵律 感 可 以 通过 色彩 、 装 饰 CBG. AR, BUS) 的 变化 体现 出 来 ;大 人 打 花 、 满 地 
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花 给 人 热烈 豪放 的 感觉 ， 细 花 、 碎 花 、 小 条 花 给 人 印象 是 清秀 、 典 雅 、 精 致 。 因 此 ， 首 先 
要 从 词典 中 找 出 针对 于 服装 样本 的 合理 形容 词 ， 按 意义 整理 成 为 对 偶 形 式 ， 形容词 对 见 
表 6-3。 

针对 这 16 对 形容 词 ， 由 用 户 对 图 像样 本 进行 评价 ， 评 价 分 为 五 个 等 级 ,例如 形容 词 对 
“浪漫 的 一 呆板 的 ”"， 用 户 的 评价 可 以 是 非常 浪漫 、 有 些 浪漫 、 中 性 、 有 些 有 呆板、 非常 呆板， 
分 别 对 应 1、2、3、4、5， 这 就 是 SD 评价 实验 。 

浪漫 的 1，2，3，,，4,5 呆板 的 

通过 实验 收集 数据 ， 形 成 用 户 的 情感 库 。 服 装 图 片 库 中 共有 500 幅 图 片 ， 选 出 其 中 的 
30 幅 作 为 样本 提供 给 用 户 评测 ， 则 得 到 的 评价 平均 值 为 形容 词 对 的 量化 值 ， 前 10 个 样本 的 
评价 平均 值 见 表 6-4。 




















表 6-3 抽取 的 形容 词 对 






























































1 鲜艳 的 一 灰暗 的 ( 色 度 ) 9 人 性感 的 一 保守 的 

2 温馨 的 一 清凉 的 〈 色 彩 的 冷暖 ) 10 ”典雅 的 一 豪放 的 

3 ”凌乱 的 一 一 单调 的 〈 色 彩 、 构 图 变化 ) 11 和谐 的 一 不 和 谐 的 

4 ”正式 的 一 一 随意 的 (服装 的 风格 ) 12 ”有 韵律 感 的 一 无 韵律 感 的 
5 含蓄 的 一 一 张扬 的 13 ”男性 化 的 一 女性 化 的 

6 优雅 的 一 一 粗俗 的 14 有 个 性 的 一 一 般 的 

7 浪漫 的 一 一 呆板 的 15 ”稳重 的 一 活泼 的 

8 华贵 的 一 一 质朴 的 16 柔软 的 一 坚硬 的 























表 6-4 样本 1-10 的 评价 平均 值 

















































































































形容 词 对 样 1 样 2 样 3 样 4 样 5 样 6 样 7 样 8 样 9 样 10 
鲜艳 的 一 灰暗 的 2.4 1.9 2.0 3.7 1.6 2.6 2.8 2.8 2.0 3.0 
稳重 的 一 活泼 的 1.7 2.1 2.2 3.0 1.3 1.7 2.1 1.8 3.5 1.7 
温 亿 的 一 清凉 的 1.1 1.0 1.4 1.7 1.1 1.9 2.1 2.0 1.4 1.4 
凌乱 的 一 单调 的 3.4 3.5 2.8 3.9 3.8 4.0 3.7 3.7 1.6 4.4 
正式 的 一 随意 的 2.4 2.8 2.9 3.1 3.8 2.0 2.1 2.4 3.1 2.2 
含蓄 的 一 张扬 的 2.2 3.0 2.3 2.9 2.8 2.8 2.6 2.3 2.3 2.7 
优雅 的 一 粗俗 的 2.7 2.2 2.8 3.4 2.3 2.1 2.6 2.0 3.3 2.1 
浪漫 的 一 呆板 的 3.7 3.2 2.3 2.7 3.7 3.9 27 2.8 1.5 4.3 
华贵 的 一 质朴 的 1.2 2.1 2.1 3.0 15 1.3 2.0 1.6 3.3 1.0 
性 感 的 一 保守 的 1.9 2.2 2.6 3.5 2.0 1.9 2.5 2.3 3.6 2.0 

LHR Be Fi A 2.2 2.4 2.0 2.1 1.0 3.4 3.5 2.8 3.9 3.8 

和 谐 的 一 不 和 谐 的 2.2 5.0 5.0 4.7 1.1 1.9 2.1 2.0 1.4 1.4 

男性 化 的 一 女性 化 的 5.0 2.9 2.8 3.5 4.8 3.7 3.2 2.3 2.7 3.7 
柔软 的 一 坚硬 的 1.7 2.6 2.6 2.8 3.4 2.3 2.1 2.6 2.0 3.3 

有 韵律 感 的 一 无 韵律 感 的 | 2.2 1.5 2.3 1.9 1.6 3.8 2.0 2.1 2.4 3.1 
个 性 的 一 大 众 的 1.6 1.5 2.3 2.8 3.5 2.0 1.9 2.5 2.3 3.6 












































BOA k IRUR m WE n 对 形容 词 的 评价 为 Z, ， 求 出 平均 值 ， 并 将 其 标准 化 ， 得 矩阵 
了 ， 以 形容 词 对 “华贵 的 一 质朴 的 ”为 例 ，30 个 样本 的 全 部 评价 结果 见 表 6-5。 





R65 “华贵 的 一 质朴 的 ”评价 结果 





















































样品 No. 评价 平均 值 了 样品 No. 评价 平均 值 了 
1 2.4 16 1.8 
2 1.9 17 1.3 
3 2.0 18 1.1 
4 3.7 19 1.1 
5 1.6 20 2.4 
6 2.6 21 1.9 
7 2.8 22 3.2 
8 2.8 23 1.6 
9 2.0 24 2.7 
10 3.0 25 1.5 
11 1.3 26 1.9 
12 2.4 27 1.8 
13 1.4 28 2.6 
14 1.4 29 1.8 
15 2.6 30 3.0 

















6.2.5 实验 结果 与 分 析 


为 了 验证 该 方法 的 有 效 性 ， 分 别 进行 两 组 实验 : 一 组 以 传统 的 RGB 通道 来 建立 商品 特 
征 库 ; 另 一 组 采用 HSV 颜色 模型 结合 商品 设计 理念 的 方法 来 建立 商品 特征 库 。 参 加 实验 的 
是 浏览 我 们 网 站 的 客户 ， 他 们 的 年 龄 、 职 业 等 各 不 相同 ， 保 证 了 消费 者 心理 的 多 样 性 ， 为 实 
验 提供 了 更 加 有 效 和 有 力 的 数据 。 从 中 随机 抽取 了 30 个 人 对 10 个 训练 样本 的 评估 值 ， 并 对 
其 进行 因子 分 析 。 这 里 为 了 显示 方便 ， 只 给 出 形容 词 对 中 的 一 个 “清秀 典雅 的 一 热烈 豪放 
的 ”的 平均 值 y 为 

y=[2.4 1.9 2.2 3.7 1.6 47 28 3.2 4.2 3.0] 
将 平均 值 输入 原始 系统 ， 得 到 20 个 测试 样本 的 预测 值 ”》， 图 6-14 为 分 别 根据 HSV 颜色 模型 
算法 和 原来 的 RGB 信道 计算 后 的 预测 值 。 

从 图 6-14 中 可 以 看 到 ， 根据 RGB 通道 方法 算出 的 检验 样本 预测 值 都 集中 在 [1，3] W 
围 里 ， 对 用 户 的 心理 模仿 过 于 集中 ,没有 充分 地 反映 用 户 的 心理 。 而 按照 HSV 颜色 模型 计 
算 后 的 预测 值 在 [0, 5] 范围 里 ,与 实际 的 用 户 评价 心理 非常 吻合 。 再 用 样本 复 相 关系 数 
来 验证 模型 的 预测 精度 ， 即 利用 下 式 计算 预测 值 7 与 实测 值 y, 之 间 的 误差 程度 : 






































RP, y, 为 实测 值 ，$ 为 估计 值 ; y 为 y, 的 平均 值 ; n 为 检测 样本 的 个 数 。r 的 值 越 接近 1, 
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说 明 预 测 值 越 准确 ， 系 统 的 精确 度 越 高 。 

选用 形容 词 对 “清秀 典雅 的 一 热烈 豪放 的 ”进行 预测 精度 比较 ， 得 到 原 系统 样本 复 相 
关系 数 等 于 1. 2804 ， 而 改进 后 的 系统 样本 复 相 关系 数 等 于 1. 0401， 说 明 改 进 后 系统 模型 的 
预测 精度 得 到 较 大 的 提高 。 参 加 实验 的 30 名 用 户 进入 服装 选 购 接 口 ， 根 据 心理 需求 挑选 服 
装 ， 统计 结果 显示 ， 用 户 对 新 系统 的 满意 度 可 以 达到 63% ， 而 对 原 有 系统 的 满意 度 仅 为 
55% 。 可 见 改进 后 的 服装 选 购 系统 更 能 准确 地 体现 用 户 的 心理 需求 。 此 外 ， 所 有 用 户 均 表示 
选 购 过 程 明 显 加 快 。 可 见 该 颜色 模型 具有 很 好 的 表达 能 力 和 应 用 价值 ， 可 将 这 种 方法 应 用 到 
个 性 空间 中 其 他 系统 中 。 





















































al 校 检 样本 序列 号 


图 6-14 ”预测 值 比较 
一 一 ”表示 基于 HSV 颜色 模型 ”------ 表示 基于 RGB 通道 











本 节 详 细 介 绍 了 商品 特征 数据 库 和 客户 情感 数据 库 的 建立 方法 。 首 次 提出 运用 HSV 颜 
色 模 型 算法 和 服装 商品 自身 的 设计 理念 相 结 合 的 方法 来 提取 服装 图 片 的 特征 值 ， 从 而 提高 了 
商品 特征 描述 的 精确 度 ， 减 少 特征 数据 库 的 规模 ， 提 高 了 图 片 的 在 线 查询 速度 。 其 中 ，HSV 
颜色 模型 是 一 种 比 RGB 颜色 模型 视觉 均匀 的 模型 , 一 种 适合 肉眼 分 辨 的 模型 ， 利 用 此 方法 
提取 的 商品 特征 更 接近 人 对 颜色 的 感知 认识 。 

此 外 ， 由 于 人 们 常常 选用 形容 词 来 表述 对 于 商品 的 心理 感受 ， 如 用 “豪华 的 一 朴素 的 ” 
来 描述 房屋 装 浇 ， 用 “轻便 的 一 笨重 的 ”来 描述 自行 车 ， 因 此 建立 客户 情感 数据 库 必须 选 
取 合 适 的 描述 商品 的 形容 词 ， 并 对 表达 情感 的 形容 词 进行 量化 和 分 析 ， 因 此 客户 情感 数据 库 
的 建立 步骤 主要 包括 三 步 : 一 是 收集 表达 用 户 心 理 的 形容 词 ， 二 是 做 语义 量化 试验 ， 由 被 调 
查 的 客户 评价 商品 图 像 ， 收 集 数据 ; 三 是 采用 因子 分 析 法 将 数据 库 中 的 数据 进行 分 析 ， 建 立 
情感 数据 库 。 


6.3 个 性 化 交互 系统 在 线 智 能 推理 机 的 建立 


在 本 节 中 ， 将 介绍 利用 交互 式 遗 传 算法 来 建立 个 性 化 的 智能 选 购 系统 的 顾客 心理 模型 。 
原 有 系统 所 使 用 的 数量 化 工 类 理论 是 将 人 的 心理 与 情感 这 一 模糊 量 线性 数量 化 ， 而 在 此 则 是 
要 把 心理 需要 作为 非 线性 考虑 ， 使 之 适用 于 通常 的 统计 解析 方法 。 为 此 ， 采 用 了 交互 式 遗 传 
算法 及 相关 技术 来 解析 问题 ， 进 而 使 该 系统 具有 自学 习 能 
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6.3.1 使 用 遗传 算法 搭建 顾客 心理 模型 


遗传 算法 (GA) 是 仿真 生物 遗传 学 和 自然 选择 机 理 ， 通 过 人 工 方式 所 构造 的 一 类 搜索 
算法 ， 从 某 种 程度 上 说 ， 遗 传 算法 是 对 生物 进化 过 程 进 行 的 数学 方式 仿真 。 和 霍 兰 德 〈Hol- 
land) 在 他 的 著作 《Adaptation in Natural and Artificial Systems (自然 与 人 工 系统 中 的 适应 )》 
中 首次 提出 遗传 算法 ， 并 主要 是 由 他 和 他 的 学 生发 展 起 来 的 。 

1. 交互 式 进化 算法 

随 着 数据 在 日 常 决策 中 的 重要 性 越 来 越 显 著 ， 人 们 对 数据 处 理 技 术 的 要 求 也 不 断 提高 。 
人 们 需要 能 够 对 数据 进行 较 高 层次 处 理 的 技术 ， Seppe 规律 和 模式 ， 以 帮助 人 们 更 好 地 利 
用 数据 进行 决策 和 研究 。 在 数据 库 技术 飞速 发 展 的 同时 ， 人 工 智 能 领域 的 一 个 分 支 一 一 机 融 
学 习 自 20 世纪 50 年 代 开 发 以 来 也 取得 了 很 大 进展 ， 提 出 了 很 多 机 器 学 习 的 方法 ， 如 实例 学 
习 、 神 经 网 络 和 遗传 算法 等 。 其 中 遗传 算法 在 自动 获取 知识 方面 的 应 用 范围 非常 广泛 。 遗 传 
算法 是 一 个 全 局 优化 的 搜索 算法 ， 在 进化 计算 过 程 中 一 般 无 须 借助 外 部 信息 ， 而 直接 凭借 适 
应 度 值 的 计算 来 对 个 体 的 优 劣 进行 评 佑 ， 并 以 此 作为 遗传 操作 的 依据 。 然 而 在 一 些 领域 的 适 
应 度 函 数 表达 式 很 难 明 确 地 给 出 ， 如 图 像 合 成 、 图 像 的 优 劣 一 般 交 由 用 户 评 
估 ， 而 难以 通过 计算 得 到 。 针 对 遗传 算法 的 自动 化 程度 高 ， 而 用 户 介入 程度 低 的 问题 ， 人 们 
提出 了 用 交互 式 遗传 算法 来 提高 遗传 算法 的 应 用 范围 

交互 式 遗传 算法 是 针对 一 些 应 用 领域 存在 的 适应 度 函 数 难 以 明确 表达 的 问题 而 提出 来 
的 。 它 是 一 种 通过 用 户 参 与 进化 过 程 和 对 进化 个 体 进 行 评 估 ， 以 代替 计算 过 程 的 改进 方法 。 
它 最 初 应 用 于 汽车 、 手 表 的 设计 等 领域 ， 也 是 一 种 基于 用 户主 观 评价 的 全 局 搜索 优化 技术 ， 
换言之 ,这 种 方法 就 是 在 进化 的 过 程 中 ,采用 人 机 交互 的 方式 ， 并 由 用 户 确定 适应 度 函 数 的 
值 ， 再 通过 选择 、 交 叉 、 变 异 等 遗 
传 操作 而 在 特征 空间 进行 搜索 ， 用 
户 通 过 给 出 适应 度 池 数值 ， 来 评价 
搜索 结果 与 用 户主 观 空间 或 心理 空 
间 的 相似 度 ， 并 将 人 的 主观 情感 融 
入 到 进化 过 程 ， 从 而 实现 了 主观 心 
理 空间 和 客观 特征 空间 的 映射 。 图 
6-15 表明 了 GA 与 IGA 的 区 别 。 

IGA 也 有 不 足 之 处 ， 即 用 户 在 
交互 过 程 中 ， 对 每 代 的 所 有 个 体 都 
要 进行 评估 ， 当 个 体 的 数量 较 大 、 
进化 时 间 较 长 时 ， 用 户 容易 疲劳 ， E any 
特别 是 当 某 一 代 中 存在 差别 不 大 的 
类 似 个 体 时 ， 要 对 它们 进行 相对 优 劣 的 评估 ， 心 理 压力 更 大 ， 因 而 更 容易 产生 疲劳 。 针 对 这 
一 问题 ，HideyukiTakagi 兽 提出 用 离散 适应 度 值 ( 即 只 有 者 干 个 不 同 级 别 的 适应 度 值 ) 来 代 
替 连 续 适 应 度 值 ( 即 有 几 十 甚至 几 百 个 不 同 级 别 的 适应 度 值 ) ， 以 减轻 用 户 的 心理 压力 。 但 
该 方法 的 结果 是 使 遗传 操作 的 收敛 性 变 差 。 针 对 用 户 疲 劳 问题 ， 本 节 提 出 了 两 种 解决 方法 : 
其 一 是 跟踪 并 记录 用 户 每 次 所 选择 的 最 佳 个 体 ， 当 用 户 疲劳 时 ， 根 据 对 记录 的 历次 最 佳 个 体 
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的 学 习 来 自动 计算 个 体 的 适应 度 值 ， 以 代替 用 户 对 个 体 的 评估 过 程 ， 即 采用 用 户 评估 与 机 器 
自动 计算 相 结合 的 方法 ; 其 二 是 当 用 户 预 先 能 对 所 选 个 体 提 出 大 致 的 要 求 时 ， 从 数据 库 中 搜 
寻 出 大 致 符合 用 户 要 求 的 若干 个 体 ， 以 代替 最 初 随机 产生 若干 个 体 呈 现 给 用 户 的 过 程 ， 以 此 
加 速 收敛 性 ， 缩 短 用 户 评估 的 过 程 。 基 于 以 上 考虑 ， 设 计 了 个 性 化 交互 系统 的 在 线 推理 机 模 
型 。 

2. 模型 描述 

系统 模型 如 图 6-16 所 示 。 图 中 ， 三 个 点 画 线 框 分 别 表示 预 处 理 模块 、 交 互 式 GA 模块 
和 自主 式 CA 模块 。 




















. 2. 交互 式 GA 
1. 预 处 理 用 户 评估 并 记 3 ETER, 


A 局 个 
用 户 提出 大 | .| 从 服装 库 中 搜寻 禄 (Leet | 
致 要求 HEH 2 
用 户 提 不 出 |_| 从 服装 库 中 随机 产 | S 自主 式 GA 
大 致 要求 生 初 始 图 上 aana | fesoa] cesses 





{< 

















新 的 适应 度 值 

















N 








图 6-16 系统 模型 


预 处 理 模块 主要 完成 交互 式 GA 操作 之 前 的 数据 预 处 理工 作 。 交 互 式 GA 模块 分 别 由 用 
户 评估 、 选 择 、 交 叉 、 变 异 和 群体 更 新 等 几 个 功能 模块 所 组 成 。 自 主 式 GA 模块 则 根据 所 记 
录 的 历次 最 佳 个 体 对 新 的 个 体 进行 适应 度 值 的 自动 计算 ,以 机 器 评估 代替 用 户 评 估 。 

(1) 预 处 理 模块 ”遗传 算法 中 ， 初 始 群体 的 设 定 可 采取 如 下 策略 : 根据 问题 固有 知识 ， 
设法 把 握 最 优 解 所 占 空 间 在 整个 问题 空间 的 分 布 范围 ， 然 后 在 此 分 布 范 围 内 设 定 初始 群体 。 
在 交互 实验 中 ， 发 现 第 一 次 呈现 给 用 户 的 服装 图 片 中 ， 大 致 符合 用 户 要 求 得 越 多 ， 在 随后 的 
IGA 操作 过 程 中 ， 得 到 用 户 满意 结果 的 速度 就 越 快 。 由 此 ， 考虑 了 利用 使 用 数量 化 I 类 理论 
作为 初始 信息 处 理工 具 。 

数量 化 理论 (Theory of Quantification) 作为 多 元 统计 分 析 的 一 个 分 文 ， 始 于 20 世纪 50 
年 代 。 起 初 它 的 应 用 仪 限 于 “计量 社会 学 ”方面 ， 随 着 电子 计算 机 的 广泛 应 用 ，60 FRA 
后 ， 它 在 自然 科学 领域 中 的 应 用 日 益 增 多 。 数 量化 理论 按 其 所 研究 问题 的 目的 的 不 同 ， 可 分 
为 四 种 ， 分 别称 为 数量 化 理论 [ 、 开 、 亚 、KV 。 这 是 一 种 正在 发 展 着 的 理论 ， 还 有 不 少 问题 
值得 研究 ， 例 如 项 目 如 何 选取 、 类 目 如 何 划 分 、 定 量 数据 转化 为 定性 数据 时 对 结果 有 怎样 的 
影响 等 ， 这 些 问 题 都 有 待 于 从 理论 与 实践 两 方面 来 解决 。 数 量化 理论 是 用 于 定量 基准 变量 
的 预测 问题 。 在 本 节 中 ， 主 要 用 到 了 用 于 定量 基准 变量 预测 的 数量 化 工 类 理论 ， 其 目的 是 定 
量 地 估计 定性 变量 对 一 个 被 称 为 目标 变量 的 影响 。 数 量化 [ 类 理论 用 于 自 变量 都 是 定性 变 
， 基 准 变量 是 定量 变量 的 预测 问题 。 但 是 ， 应 用 数量 化 理论 建立 的 模型 是 一 种 线性 的 模 
型 ， 而 人 的 心理 具有 许多 非 线性 的 特征 ， 所 以 只 能 用 来 做 简单 的 预 估 。 下 面 简单 介绍 其 理论 
基础 。 

在 数量 化 理论 工 中 ， 假 定 基准 变量 与 各 项 目 、 类 目的 反应 间 遵 从 下 列 线性 模型 ; 

y=) (j,k) by + &, (i = 1,2,+-+,n) (6-10) 


n 
j=1 k= 
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式 中 ， 以 是 仅 依 赖 于 7 项 目的 大 类 目的 常 系数 ; ©, 是 第 i 次 抽样 中 的 随机 误差 。 
现在 根据 最 小 二 乘 原理 寻求 系数 六 的 最 小 二 乘 估计， 换言之 即 寻求 使 得 


a= De => [n > > 60 | (6-11) 
达到 最 小 值 。 为 此 ， 求 y 关于 上 的 偏 导数 ， 并 令 其 等 于 0， 得 到 








0 Be 
St =-23]s,- È Bac, Baw =o 
(u = 1,2,--,m; v = 1,2,°-,r,,) (6-12) 
因为 这 是 极 小 值 点 的 必要 条 件 ， 故 如 记 使 y 达到 最 小 值 的 6， 则 6 应 满足 下 式 : 
EE | Lacie fy = Bae) (6-13) 
以 矩阵 形式 表示 为 
Y¥=XB+E (6-14) 


所 解 问题 归结 为 求 一 个 使 误差 E EAB) ZR YE eRe Y= XB" +E*。 根 据 最 小 二 乘法 ， 





寻求 系数 b 的 最 小 二 乘 估计 ， 求 得 


B* =(X"-X)X"Y (6-15) 


即 为 定性 类 目的 数量 化 。 令 
Î =XB* (6-16) 

就 是 预测 的 理论 值 。 
在 求 得 最 小 二 乘 佑 计 B* 之 后 ， 可 用 样本 复 相 关系 数 7 来 衡量 ， 它 可 以 按 下 式 计算 


B07)’ 
i=l 


2i -y) 














(6-17) 


其 基本 思路 是 先 根据 数量 化 工 类 理论 公式 将 数据 D 
库 中 的 所 有 被 检索 对 象 进行 划分 ， 并 根据 此 划分 

分 别 计算 出 数据 库 中 每 一 个 对 象 的 上 近似 和 下 近 
似 ， 然 后 确定 每 一 个 对 象 与 目标 检索 的 相关 联 程 
度 ， 最 后 根据 其 相关 联 程度 从 高 向 低 依次 检索 出 
用 户 感 兴趣 的 图 片 。 此 外 ， 若 用 户 提 不 出 任何 具 














体 要 求 ， 则 随机 产生 若干 个 服装 图 片 呈 现 给 用 Poea) [ER 
户 。 图 6-17 为 预 处 理 模块 流程 框图 。 中 产生 初始 群 品 库 中 搜寻 最 优 初始 群 
预 处 理 建 模 的 一 般 过 程 如 下 ， 
1) 收集 表达 心理 的 形容 词 对 ，; 
i ETAR 
2) 抽 选 调查 的 对 象 来 做 评价 实验 ， 以 服装 
图 片 为 对 象 进行 SD 评价 实验 ， 得 到 的 评价 运用 


因子 分 析 方 法 来 处 理 ， 完 成 形容 词 对 的 量化 ， 得 
到 情感 矩阵 了 ， 图 6-17 预 处 理 模 块 流 程 框图 











3) 抽取 服装 的 特征 值 ， 得 到 特征 空间 反应 和 矩阵 已; 
A) 将 心理 描述 和 特征 值 的 关系 定量 化 一 一 使 用 数量 化 1 类 理论 式 (6-15), B 
B* =(X'X) 'X'Y 
IEA tal OP PIE EA, ORB" 之后， 利用 式 (6-16), ， 即 
Ŷ =XB* 

就 可 以 通过 B AURA APE AY Be AERE X HTT Ah PE MEL, SR E XTA TA te] 
的 B 值 ， 即 建立 了 商品 的 预 处 理 模型 。 每 一 位 用 户 在 进入 到 个 性 空间 后 ， 都 必须 进行 注册 ， 
在 注册 中 ， 对 训练 样本 图 像 做 出 评价 ,构成 大 众 情感 矩阵 了 ， 进 而 得 到 B。 参 与 的 人 越 多 ， 
B 值 越 准 确 ， 对 图 像 的 预测 就 会 越 近 似 。 对 于 系统 的 准确 度 和 速度 都 有 极 大 的 影响 。 随 后 当 
用 户 提出 个 性 选 购 要 求 时 ， 系 统 首 先 根据 预 处 理 模块 给 出 基于 大 众 心理 的 图 像 ， 然 后 再 根据 
用 户 对 这 些 图 像 的 满意 度 评价 来 决定 
遗传 方式 。 —___ 

(2) IGA 模块 ”IGA 模块 由 评 
估 、 选 择 、 交 叉 和 变异 及 群体 更 新 等 
主要 算法 模块 所 组 成 。 由 于 遗传 算法 
在 优化 搜索 中 基本 上 不 用 外 部 信息 ， 
仅 用 适应 度 函 数 为 寻找 依据 ， 而 且 遗 
传 算法 对 适应 度 函 数 的 惟一 要 求 是 该 
函数 不 能 为 负 ， 所 以 在 这 里 取 用 户 对 
系统 检索 出 图 片 的 满意 度 值 作为 IGA 
的 适应 度 函 数 。 一 般 将 用 户 的 满意 度 
用 五 种 语气 表达 : 极其 不 满意 、 不 满 


















































Al6-18 IGA 系统 框图 
一 般 、 满 意 、 非 常 满意 。 这 五 种 语气 分 别 对 应 1、2、3、4、5。 为 保证 收敛 性 ， 采 用 优 





eT Tae 
代 中 ， 相 应 淘汰 其 子 代 中 适应 度 最 差 的 个 体 ， 使 种 群 规模 不 变 。 在 所 挑选 出 的 图 片 中 ， 用 户 
ee 

一 代 。 其 余 的 图 片 进行 交叉 或 变异 操作 。 其 系统 框图 如 图 6-18 所 示 。 

ee es 色 体 ， 可 能 在 其 图 像 库 中 未 必 有 完全 一 致 的 对 应 项 ， 因 此 
为 提高 IGA 性 能 ， 本 节 提 出 了 相似 距离 值 这 一 方法 。 所 以 应 将 图 像 库 中 的 每 一 幅 图 像 与 其 
进行 比较 ， 并 按 相似 距离 计算 它们 的 相似 度 ， 再 取出 其 中 相似 度 最 小 的 6 幅 图 像 作为 新 的 群 
体 ， 显 示 给 用 户 ， 供 用 户 作 进一步 分 析 判 断 。 

假设 两 个 体 A、B 的 编码 为 

A=(a,a,,…,a,) B=(b,,b,,*…,b,) 
两 个 体 之 间 的 相似 距离 值 定义 如 下 : 























d(A,B) = ,& b;) | (6-18 ) 





式 中 , if a=b, then a,@®b, =1 
if a,4b, then a,®b, =0 
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d (A, B) 值 越 大 ， 说 明 两 个 体 间 的 相似 距离 值 越 小 ,反之 亦 然 。 同 样 ， 用 户 也 可 通 
过 比较 两 个 体 间 的 相似 距离 值 来 对 新 的 个 体 进行 评估 。 交 互 式 模块 的 工作 流程 如 图 6-19 所 
Zo 

(3) 自主 式 GA 模块 

自主 式 GA 模块 的 自主 式 GA 部 分 与 交互 式 GA 部 分 的 不 同 之 处 
在 于 前 者 的 每 一 代 个 体 适 应 度 值 是 自动 计算 得 到 的 ， 而 不 是 根据 用 户 
评估 得 到 的 。 在 交互 式 GA 过 程 中 ， 系 统 自动 记录 了 用 户 历 次 所 选 的 








用 户 评估 个 体 





最 新 、 最 佳 个 体 若干 。 当 用 户 感到 疲劳 时 ， 可 退出 交互 式 CA 过程， | FRR 


而 进入 自主 式 GA 过 程 。 系 统 记录 的 每 一 个 体 对 应 一 个 输入 向 量 。 基 采用 比例 


于 输入 向 量 分 别 计算 每 一 个 体 与 其 他 个 体 间 的 相似 性 。 本 节 以 两 向 量 
间 夹 角 的 余弦 作为 向 量 的 相似 性 度量 。 

根据 交叉 概率 
实施 交叉 操作 


cosg，= - (6-19) 
7 n 根据 变异 概率 
Zax A b 实施 变异 操作 
相似 性 的 值 分 别 对 应 权 值 大 小 ， 角 度 越 小 ， 相 似 性 越 大 ， 权 值 也 
就 越 大 ， 故 权 值 P 可 定义 如 下 : 
P; = cos0; (6-20) 
新 的 适应 度 值 被 定义 为 原始 适应 度 值 的 加 权 平 均 。 例 如 ， 记 录 有 编号 
分 别 为 1、2、3、4 的 四 个 最 佳 个 体 ， 设 其 原始 适应 度 值 分 别 为 $ 、 
Sa, Sa, Sa; 各 个 体 之 间 相 似 性 值 分 别 为 PL. Pos Pus Pas Pus 
Pa, WAE 1 的 新 适应 度 值 可 计算 如 下 : 图 6-19 IGA 模块 
fitness[1] =P, xS, + Ps XS, +P xS, (6-21) 
计算 出 新 的 适应 度 值 之 后 ， 再 进行 GA 过程， 所 产生 的 新 个 体 若 满足 用 户 的 要 求 ， 则 停 
止 此 过 程 。 大 不 满足 用 户 的 要 求 ， 则 重复 自主 式 GA 过 程 ， 或 退出 此 过 程 而 进入 交互 式 GA 
过 程 ， 直 至 产生 用 户 满意 的 个 体 为 止 。 这 里 用 户 满 意 的 含义 是 所 产生 的 新 个 体 超过 759% 的 
个 体 是 用 户 所 期 望 的 。 这 样 通过 交互 式 GA 与 自主 式 GA 相 结合 ， 可 以 在 某 种 程度 上 有 效 组 
解 用 户 的 疲劳 程度 。 
3. 算法 的 设计 与 实现 
(1) 数据 结构 与 算法 参数 ”基本 遗传 算法 处 理 的 对 象 主要 是 个 体 ， 因 此 设计 了 结构 变 
量 individual 来 描述 个 体 信 息 ， 其 中 包括 个 体 的 染色 体 串 chrom、 个 体 适应 度 fitness, MEX 
应 的 变量 varible、 交 又 位 置 xsite, 以 及 记录 父 个 体 编号 parent 和 为 记录 历代 最 佳 个 体 ， 设 
计 结 构 变 量 bestever, 表示 最 佳 个 体 对 应 的 染色 体 chrom、 个 体 适 应 度 fitness、 个 体 对 应 的 变 
if varible 及 最 佳 个 体 产生 的 代数 。 根 据 个 体 变量 定义 ,设计 当前 代 种 群 oldpop 及 新 一 代 群 
newpop ， 为 全 局 变量 。 此 外 ， 将 当前 种 群 中 个 体 最 大 适应 度 max、 个 体 平均 适应 度 avg、 最 
小 适应 度 min、 个 体 适应 度 累 计 值 也 定义 为 全 局 变量 。 
算法 参数 可 定义 为 一 个 8 元 组 : 
GA =(C,E,P,,M,®,,¥,T) (6-22) 














结束 
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式 中 ,C 为 个 体 的 编码 方法 ， 这 里 使 用 46 位 二 进 制 符号 串 的 编码 方式 ; 为 个 体 的 适应 度 
评价 函数 ， 这 里 定义 用 户 的 满意 度 值 为 适应 度 值 ，P 为 初始 群体 ， 借 助 数量 化 I 类 公式 来 
产生 初始 图 片 ，M 为 群体 大 小 ， 取 20 ~ 100; P 为 选择 算 子 ， 采 用 优秀 个 体 保 护法 和 淘汰 最 
差 法 ; T 为 交叉 算 子 ， 使 用 单 点 交叉 算 子 ， 交 叉 概 率 取 0.6 ~ 0. 95 之 间 的 值 ; 多 为 变异 算 
F, 使 用 基本 位 变异 算法 ， 变 异 概率 取 0. 001 ~ 0.01 之 间 的 值 ; 7 为 算法 终止 条 件 ， 定 义 终 
止 进化 代数 为 10 ~50。 

(2) 产生 初始 种 群 

(3) 遗传 操作 设计 “为 返回 种 群 中 被 选择 的 个 体 编 号 设计 函数 select ( ); 为 单 点 交叉 
操作 设计 的 函数 crossover ( ) ; 随机 产生 交叉 点 位 置 jcross; FH flip ( ) 函数 来 确定 是 否 发 
生 交 义 操 作 。 

(4) 世代 进化 过 程 的 实现 ”模拟 世代 进化 过 程 设 计 的 图 数 generation ( ) ， 以 种 群 的 处 
理 对 象 实现 了 一 个 世代 内 的 三 种 遗传 操作 。 

(5) ERY _ 主 程序 设计 了 多 次 运行 遗传 算法 的 过 程 ， 每 次 运行 前 ， 由 使 用 者 输入 不 
同 的 参数 设置 ， 运 行 结束 时 ， 将 有 关 进 化 过 程 的 统计 结果 写 人 输出 数据 文件 中 。 

算法 描述 如 下 : 

/section-1 {HARIZ 
初始 化 : N, Process, Pmut 
其 中 ,NN 为 群体 规模 ; Process 为 交叉 概 ; Pum 为 变异 概率 。 

让 〈 用 户 可 以 提出 具体 要 求 ) 

then 从 服装 库 中 搜索 满足 要 求 的 6 张 图 片 。 

输出 6 张 服 装 图 片 

Vsection-2 交互 式 GA / 

有 用 户 对 每 一 个 服装 图 片 进行 评估 ,给 出 适应 度 值 fitness[i]; 

计算 适应 度 值 的 总 和 sunfitness; 

根据 sunfitness 进行 选择 操作 select( ) ; 

对 所 选 个 体 实施 交叉 操作 cross( ) ; 

变异 操作 mutation( ) 

if( 用户 对 结果 满意 )then stop 

else if (用 户 感 到 疲劳 ) 
then go to 15 





























else go to 13 


end if 
end if 
Ysection-3 自主 式 GAY 
计算 相似 性 P 
计算 每 一 个 体 新 的 适应 度 值 fitness[ i] 
go to 5 


4. 实验 结果 与 分 析 
为 了 验证 该 系统 的 有 效 性 ， 我 们 首先 创建 了 包含 200 张 服装 图 片 的 特征 库 ， 由 于 服装 是 
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由 四 个 部 分 组 成 ， 通 过 编码 可 以 将 每 一 个 服装 图 片 的 特征 表示 成 一 个 46 位 的 二 进 制 数 。 分 
别 进行 三 组 实验 。 第 一 组 是 验证 数量 化 工 类 公式 在 预测 客户 评价 值 方面 的 可 行 性 实验 。50 
名 用 户 分 别 对 10 个 训练 样本 进行 评价 ， 求 出 B 后 ， 再 分 别 与 20 个 校 检 样 本 相 乘 ， 得 到 20 
个 校 检 样 本 的 预测 评估 值 Y'， 6 
与 客户 对 20 个 校 检 样 本 的 真实 
评价 值 Y 比较 可 以 看 出 ， 预 测 
值 相对 比较 集中 在 [2, 4] 这 
个 范围 内 ， 在 此 范围 内 的 预测 
基本 比较 准确 ， 相 比较 而 言 ， 
对 两 个 极端 评估 的 预测 稍 差 。 —— e 
1 3 5 7 9 ll 13 15 17 19 

但 这 是 合理 的 ， 因 为 作为 人 来 样本 号 
UE, 大 多 数 人 对 一 个 事物 的 评 图 6.20 20 个 核验 样本 的 预测 值 与 实际 值 比较 
价 都 会 比较 中 庸 ， 所 以 对 这 个 
范围 的 预测 率 会 相对 较 高 ， 这 也 是 为 何 数量 化 I 类 公式 无 法 体现 个 性 化 的 问题 所 在 。 实 验 结 
果 说 明 ， 用 此 方案 作为 预 处 理 是 可 行 的 。 实 验 结 果 如 图 6-20 所 示 。 图 中 ， 实 线 了 代表 20 个 
校 检 样本 的 真实 评价 值 ， 虚 线 Y' 代 表 20 个 校 检 样本 的 预测 评估 值 。 

第 二 组 实验 对 单独 使 用 IGA 与 IGA 和 数量 化 工 类 公式 结合 使 用 进行 比较 ， 前 者 随机 产 
生 N 幅 图 片 ， 再 进入 交互 过 程 ;， 后 者 则 按照 数量 化 公式 从 图 片 库 中 先 分 别 搜索 出 能 大 致 满 
足 大 众 用 户 对 此 要 求 的 图 片 1 ~3 个 ， 再 进入 交互 过 程 。 比 较 结 果 见 表 6-6。 

表 6-6 两 种 方法 比较 
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方法 平均 运行 时 间 满足 用 户 心理 需求 的 图 片 个 数 
IGA 和 数量 化 I 类 公式 结合 4min16s 4~6 
单独 使 用 IGA Tmin32s 2~3 








实验 结果 表明 : 这 种 预 处 理 方法 与 IGA 相 结合 进行 识别 的 效率 要 比 单独 使 用 IGA 进行 
识别 的 效率 高 、 速 度 快 。 图 6-21 显示 了 单独 使 用 IGA 进行 实验 的 收敛 曲线 。 

第 三 组 实验 是 在 IGA 过 程 中 加 20 
进 了 相似 距离 值 和 自主 式 GA。 每 一 s 
代 记 录用 户 所 选 的 最 佳 个 体 数 量 分 
别 为 2 ~6， 在 计算 其 新 的 适应 度 值 营 " 
和 相似 性 后 ， 进 行 GA 操作 过 程 。 同 5 
样 ， 每 一 组 实验 重复 五 次 ， 取 其 收 
敛 步 数 的 平均 值 来 绘制 收敛 曲线 ， l E 3 $ 
实验 结果 如 图 6-22 所 示 。 

图 6-22 的 收敛 曲线 表明 : 所 提 图 621 第 二 组 实验 的 收敛 曲线 (单独 使 用 1GA) 
供 的 、 满 足 用 户 大 致 要 求 的 个 体 越 多 ， 产 生 用 户 满意 结果 的 速度 就 越 快 。 第 三 组 实验 表明 : 
记录 的 个 体 数目 越 多 ， 通 过 相似 性 计算 ， 再 进行 GA 操作 ， 其 收敛 步 数 也 呈 加 快 的 趋势 。 需 
要 说 明 的 是 ， 记 录 的 个 体 数目 越 多 ，IGA 进化 的 代数 就 越 多 ， 所 产生 的 相似 个 体 也 就 越 多 。 
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用 户 需要 对 相似 个 体 进行 评估 ， 心 理 压力 较 大 ,评估 时 有 波动 现象 产生 。 但 从 实验 结果 的 曲 
线 图 看 ， 此 波动 现象 对 个 体 间 相似 性 的 计算 影响 不 大 。 
由 本 小 节 的 讨论 可 知 ， 应 用 IGA 建立 个 性 化 智能 服装 选 购 系统 模型 的 一 般 过 程 如 下 : 
1) 形容 词 对 的 确定 及 量化 ; 
2) 服装 特征 的 确定 及 量化 ; 
3) 利用 IGA 建立 个 性 化 智能 服装 选 购 系统 的 人 工 心理 模型 。 
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图 6-22 第 三 组 实验 的 收敛 曲线 (加 进 了 相似 距离 值 和 自主 式 GA) 








交互 式 进化 算法 是 一 种 通过 用 户 参 与 进化 过 程 和 对 进化 个 体 进行 评估 ， 以 代替 计算 过 程 
的 改进 方法 ， 也 是 一 种 基于 用 户主 观 评价 的 全 局 搜索 优化 技术 。 这 种 方法 是 在 进化 过 程 中 ， 
采用 人 机 交互 方式 ， 并 由 用 户 确定 适应 度 函 数值 ， 青 通过 选择 、 交 又 、 变 异 等 遗传 操作 ， 在 
千 征 空 间 进 行 搜索 ， 用 户 通 过 给 出 适应 度 也 数值， 来 评价 搜索 结果 与 用 户主 观 空间 或 心理 空 
间 的 相似 度 ， 并 将 人 的 主观 情感 融入 到 进化 过 程 ， 从 而 实现 了 主观 心理 空间 和 客观 特征 空间 
的 映射 。 

H IGA 建立 的 模型 基本 上 符合 实际 调查 情况 ， 用 户 的 满意 度 在 80% 左右 ， 比 较 令 人 满 
意 。 同 时 自主 式 GA 的 引入 更 增加 了 系统 的 自学 习 能 力 ， 缓 解 了 用 户 的 疲劳 程度 。 但 是 ， 人 
类 心理 是 个 复杂 的 大 系统 ， 心 理 活动 普遍 存在 模糊 性 、 混 沌 性 ， 如 何 把 握 其 非 线性 的 特征 ， 
建立 更 加 准确 的 心理 模型 ， 是 我 们 进一步 要 做 的 工作 。 


6.3.2 使 用 人 工 神经 网 络 进 行 顾客 心理 模型 的 搭建 


人 工 神经 网 络 (Artificial Neural Network, ANN) 是 在 人 类 对 其 大 脑 神 经 网 络 认 识 理解 
的 基础 上 ， 人 工 构造 的 、 能 够 实现 某 种 功能 的 神经 网 络 ， 它 是 理论 化 的 人 脑 神经 网 络 的 数学 
模型 ， 是 基于 模仿 大 脑 神经 网 络 结构 和 功能 而 建立 的 一 种 非 算法 的 信息 处 理 系 统 。 人 工 神经 
网 络 吸取 了 生物 神经 网 络 的 许多 优点 ， 因 而 有 其 固有 的 特点 : 

(1) 高 度 并 行 性 人 工 神经 网 络 是 由 许多 相同 的 简单 处 理 单元 并 联 组 合 而 成 的 ， 使 其 
对 信息 的 处 理 能 力 、 效 果 惊 人 。 

(2) 高 度 非 线性 全 局 作用 ”人工 神 经 网 络 的 每 个 神经 元 接受 大 量 其 他 神经 元 的 输入 ， 
并 通过 并 行 网 络 产生 输出 来 影响 其 他 神经 元 。 网 络 之 间 的 这 种 相互 制约 和 相互 影响 ， 实 现 了 
从 输入 状态 到 输出 状态 空间 的 非 线性 映射 。 从 全 局 的 观点 来 看 ， 网 络 整 体 性 能 不 是 网 络 局 部 
性 能 的 简单 琶 加 ， 而 表现 出 某 种 集体 性 的 行为 。 
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(3) 良好 的 容错 性 与 联想 记忆 功能 ”人 工 神经 网 络 通过 自身 的 网 络 结构 实现 了 对 信息 
的 记忆 ， 而 所 记忆 的 信息 存储 在 神经 元 之 间 的 权 值 中 。 从 单个 权 值 中 看 不 出 所 存储 的 信息 内 
容 ， 因 而 是 分 布 式 的 存储 方式 ， 这 使 得 网 络 具 有 良好 的 容错 性 ， 既 能 进行 模式 信息 处 理工 
作 ， 又 能 进行 模式 联想 等 模式 信息 处 理工 作 ， 还 能 进行 模式 识别 工作 。 

(4) 十 分 强 的 自 适应 、 自 学 习 功 能 “人工 神经 网 络 可 以 通过 训练 和 学 习 来 获得 网 络 的 
权 值 与 结构 ， 呈 现 出 很 强 的 自学 习 能 力 和 对 环境 的 适应 能 

1. 带 有 偏差 单元 的 递归 神经 网 络 

针对 人 工 神经 网 络 中 ， 传 统 BP 算法 采用 普遍 的 梯度 下 降 法 存在 容易 陷 人 局 部 极 小 点 、 
收敛 速度 慢 等 缺点 ， 带 有 偏差 单元 的 递归 神经 网 络 是 在 BP 网 络 的 基础 上 ， 加 入 反馈 信和 号 及 
偏差 单元 ， 增 加 网 络 本 身 处 理 动态 信息 的 能 力 ， 利 用 网 络 的 内 部 状态 反馈 来 描述 系统 的 非 线 
性 动力 学 行为 的 。 由 于 这 一 网 络 结构 的 特点 ， 尤 其 是 其 在 学 习 过 程 中 便于 引入 经 验 知识 
(在 偏差 的 选择 上 ， 可 以 采用 模糊 知识 概念 ) ， 大 大 提高 了 学 习 速 度 ; 同时 ， 网 络 的 隐 层 节 
点 输出 和 输入 之 间 有 一 个 延 时 的 反馈 ， 能 够 
储存 过 去 的 输入 输出 信息 ， 它 不 仅 可 以 学 习 
空间 序列 模型 ， 还 可 以 学 习 时 间 序 列 模型 ， 














































































































因此 带 有 偏差 单元 的 递归 神经 网 络 能 够 反映 oe 

人 对 服装 感性 评价 序列 中 的 非 线性 特征 。 ea 
带 有 偏差 单元 的 递归 神经 网 络 由 三 层 节 ARE E 

点 构成 : 输入 层 节点 、 隐 层 节点 和 输出 层 节 O 输入 单元 

点 ， 两 个 偏差 节点 分 别 被 加 在 隐 层 和 输出 层 

上 ， 隐 层 节点 不 仅 接收 来 自 输入 层 的 信号 ， 

还 接收 隐 层 节点 自身 的 一 步 延 时 输出 信号 ， 

因此 隐 层 节点 称 为 关联 节点 。 其 总 体 拓扑 结 图 6-23 人 带 有 偶 差 单元 的 递归 

构 如 图 6-23 Fea. 神经 网 络 的 拓扑 结构 





网 络 学 习 的 具体 算法 步骤 如 下 所 述 : 
1) 设置 允许 误差 =、 隐 层 节 点 数 上 与 样本 总 数 V， 初 始 化 网 络 的 权 值 和 净值 。 
2) 依次 算出 各 层 的 输出 ， 如 下 列 各 式 所 示 : 





Ck) =0[y (k) ] (6.23) 
y(k) = > wou( + WO, (6-24) 

sb) AS) (6.25) 

S(k) = § WR, x, aia $ Wada) + Wain (6-26) 





StH, C, (A) 为 带 有 偏差 单元 的 递归 神经 网 络 的 输出 层 单元 的 响应 ; y Ch) 为 带 有 偏差 音 
元 的 递归 神经 网 络 的 输出 层 单元 的 输入 ; x (A) 为 第 i 个 隐 层 节点 的 输出 ;，o (+) 为 隐 层 
节点 的 非 线性 激活 函数 ;S，() 为 第 j 个 隐 层 节点 的 输入 ; W 为 从 输入 层 到 隐 层 的 权 系数 ; 
WR 为 回归 信号 的 权 系数 ，W0 为 从 隐 层 到 输出 层 的 权 系数 ，W7i 为 加 在 隐 层 上 的 偏差 单元 
的 权 系数 ，WOw. 为 加 在 输出 层 上 的 偏差 单元 的 权 系数 ，NH 为 隐 层 节点 数 ( 除 偏差 节点 ); 
NT 为 输入 节点 数 〈 除 偏差 节点 ); 1 (A) 为 带 有 偏差 单元 的 递归 神经 网 络 在 时 间 上 的 第 m 
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个 输入 。 
3) 计算 各 层 误差 信号 ， 如 下 列 各 式 所 示 
E(k) = [$5.4 A (6-28) 


RP, D, (k) 为 输出 层 各 单元 的 一 般 化 误差 ; BE, (hk) 为 中 间 层 各 单元 的 一 般 化 误差 ;7 为 
希望 输出 。 
4) 调整 权 系数 及 阔 值 ， 如 下 列 各 式 所 示 ; 


WO, = WO, + oD,(k)«;,(k) (6-29 ) 
WR,,, = WR,,, + YE;Ck) «;(k) (6-30) 
WI,,, = WI,,, + BE, (k)ICK) (6-31) 


AF, a 为 输出 层 权 值 的 学 习 速 度 ; B 为 隐 层 权 值 的 学 习 速 度 ; y 为 递归 层 权 值 的 学 习 速 度 。 
5) 修改 各 层 偏 置 值 ， 如 下 列 各 式 所 示 : 
WO vias WO jin, + HoD;(k) (6-32) 
Whist Wiis + KAE, (CK) (6-33) 
WP, A, u 为 要 求 的 偏差 值 ; v 为 输出 偏 置 单元 的 学 习 速 度 ; « 为 输入 偏 置 单元 的 学 习 速 
度 。 
步 台 2) ~5) 反复 执行 , 直到 全 部 m 个 模式 对 训练 完毕 , 输入 下 一 组 样本 ,学 习 样 本 
结束 后 ， 更 新 学 习 次 数 ， 如 果 误 差 满 足 要 求 ， 学 习 结 束 。 
2. 算法 的 设计 与 实现 
搭建 一 个 可 用 的 人 工 神 经 网 络 ， 首 先 涉 及 并 且 一 直 贯 穿 整个 设计 过 程 的， 就 是 对 网 络 结 
构 的 设 定 和 参数 的 调整 。 经 过 实验 过 程 中 的 不 断 调试 和 积累 经 验 ， 最 终 得 到 了 一 个 在 性 能 和 
效果 上 较为 令 人 满意 的 网 络 结构 。 结 构 选 定 与 调整 过 程 如 下 所 述 : 
1) 考虑 到 网 络 复杂 程度 和 需要 调节 的 参数 数量 ,决定 选用 三 层 网 络 。 通 过 衡 
网 络 收敛 速度 和 学 习 精 度 ， 将 中 间 隐 层 和 相应 的 误差 反馈 层 节点 均 设 为 9 个 。 
2) 此 实验 是 对 人 的 喜好 程度 的 模拟 追踪 实验 ， 人 类 喜好 的 数字 化 结果 往往 是 在 一 定 范围 
内 波动 ， 而 不 能 像 可 测量 的 数据 一 样 精确 到 某 一 具体 数值 ， 如 顾客 这 次 给 出 的 喜好 的 评价 值 为 
2.1, 下 次 再 评价 时 虽然 是 相同 的 感觉 ， 却 不 一 定 能 够 给 出 2 1， 也 许 是 2.2， 也 许 是 1.9。 考 
虑 到 这 一 点 ， 本 实验 将 网 络 学 习 的 最 大 误差 级 设 定 得 略 低 了 一 些 ( 低 0.05)。 男 外 ， 在 不 断 地 
调整 实验 中 也 证 明了 ， 略 微 提高 一 下 允许 的 误差 值 对 于 网 络 的 稳定 也 是 有 一 定 帮助 的 。 
3) 网 络 中 需要 调节 的 部 分 包括 一 些 经 验 参 数 和 网 络 各 层 的 函数 ， 总 计 16 个 。 经 验 参数 
和 各 层 函 数 都 是 在 一 次 次 实验 过 程 中 分 析 、 比 较 得 到 的 。 由 于 参数 过 多 ， 并 且 对 于 不 同 训练 
样本 所 作 的 设 定 是 不 同 的 ， 因 此 本 节 中 就 不 一 一 例 举 ， 请 参见 程序 。 这 里 仅 指 出 各 层 的 函数 
(总 计 4 个 ) 设置 : 输入 层 到 隐 层 间 的 函数 和 隐 层 到 输出 层 间 的 函数 如 式 (6-34) 所 示 。 输 
出 层 单元 的 一 般 化 误差 函数 如 式 (6-35) 所 示 ， 隐 层 单元 的 一 般 化 误差 函数 如 式 (6-36) 所 
AN (其 中 “. ”运算 符 代 表 和 矩阵 中 元 素 的 运算 ) 。 
X=1./(1. -e7*) (6-34 ) 
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(0, KY xe (6-35) 
E=DxWO'. xS./(1. -e7*) (6-36) 

3. 实验 与 结果 分 析 

为 了 验证 模型 的 有 效 性 ， 首 先 创 建 了 包含 141 张 服装 图 片 的 特征 库 ， 其 中 包括 春秋 装 
42 套 、 夏 装 $9 套 、 冬 装 40 套 。 每 个 季节 选取 8 B ( 共 24 套 ) 具有 代表 性 的 服装 作为 实验 
和 评价 的 样本 。 在 校内 选取 男女 比例 为 1:1， 共 20 名 同学 进行 对 24 套 样本 服装 的 评价 收集 
活动 ， 最 后 进行 均值 处 理 ， 得 到 实验 所 用 的 样本 评价 值 。 

将 表示 服装 特征 的 一 维 数组 作为 神经 网 络 模型 的 输入 值 。 网 络 输出 ， 即 网 络 学 习 的 目 
标 ， 设 定 为 对 相应 服装 的 评价 值 。 

由 于 我 们 引入 了 不 同 季节 的 服装 ， 因 此 增加 了 实验 的 复杂 程度 ， 按 照 需要 将 实验 分 为 四 
组 ， 如 下 所 述 : 

1) 测试 、 分 析 网 络 学 习 速 度 和 学 习 效果 ， 并 与 原先 研究 所 使 用 的 方法 进行 比较 。 

2) 对 相同 季节 服装 进行 预测 (测试 、 分 析 网 络 的 预测 效果 )， 与 原先 研究 所 使 用 的 方 
法 进行 比较 。 

3) 对 相近 季节 服装 进行 预测 (测试 、 分 析 网 络 的 预测 效果 ) 。 

A) 对 相反 季节 服装 进行 预测 (测试 、 分 析 网 络 的 预测 效果 ) 。 

如 果 所 有 实验 均 取 得 成 功 ， 便 可 以 通过 记载 用 户 先前 的 心理 模型 ， 在 其 他 季节 到 来 时 推 
算出 用 户 喜 好 的 不 同 季 节 的 服装 ， 从 而 使 用 户 摆脱 在 不 同时 间 段 一 次 次 评价 样本 服装 、 重 构 
心理 模型 所 带 来 的 疲劳 ， 为 使 用 者 构造 出 更 加 人 性 化 的 智能 导购 空间 。 

(1) 实验 1 及 分 析 经 过 上 节 中 所 述 的 网 络 调整 过 程 后 ， 得 到 了 一 个 基本 稳定 的 带 有 
偏差 单元 的 递归 神经 网 ， 网 络 性 能 良好 ， 在 学 习 过 程 中 能 较 快 收敛 ,将 误差 值 控 制 在 设 定 值 
之 内 。 收 敛 步 数 及 学 习 效 果 如 网 6-24 所 示 。 


























词 的 评价 值 (1.5) 
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0 5 10 15 20 25 30 z 1 2 3 4 5 6 7 8 9 10 

训练 次 数 /次 & 形容 服装 的 10 个 评价 形容 词 对 
a) b) 


0 sy 4l 1 








图 6-24 ”曲线 收敛 情况 和 学 习 效 果 
a) 网 络 学 习 收敛 步 数 
b) 带 有 偏差 单元 的 递归 神经 网 络 对 服装 评价 的 学 习 效 果 





如 图 6-24 所 示 ， 使 用 此 方法 的 神经 网 络 只 需 循环 30 次 即 可 达到 要 求 的 学 习 效 果 : 最 大 
误差 e<0. 05。 并 且 平 均 用 时 小 于 2s， 完 全 能 够 达到 网 络 所 需 的 实时 计算 要 求 。 下 面 就 学 习 
时 间 和 收敛 步 数 与 原先 研究 中 使 用 的 IGA 进行 比较 ， 见 表 6-7, 
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表 6-7 与 原先 研究 方法 的 比较 
























































方法 平均 运行 时 间 收敛 步 数 
IGA 和 数量 化 1 类 公式 结合 4min16s 记录 的 个 体 数目 越 多 ， 通 过 相似 性 计算 ， 再 进 
单独 使 用 ICA Tmin32s 行 GA 操作 ， 其 收敛 步 数 呈 加 快 趋势 
使 用 带 有 偏差 单元 的 递归 神经 网 络 不 到 2s 平均 循环 25 ~50 次 


























经 过 客观 的 研究 与 分 析 ， 使 用 带 有 偏差 单元 的 递归 神经 网 络 进行 学 习 使 用 的 时 间 从 表面 
上 看 虽然 比 使 用 ICA 要 快 得 很 多 ， 但 若 对 两 者 的 使 用 方式 进行 比较 就 可 以 得 到 原因 ， 并 且 
可 以 得 到 更 深 一 步 的 结论 : 

IGA 算法 在 每 次 循环 过 程 中 需要 与 用 户 进行 交互 ， 询 问 用 户 的 意见 ， 以 便 进行 下 一 步 操 
作 的 判断 ， 这 是 其 费时 的 主要 原因 。 而 使 用 带 有 侦 差 单元 的 递归 神经 网 络 只 有 机 器 在 独自 计 
算 ， 上 自然 会 节省 很 多 时 间 。 反 复 地 询问 也 会 给 用 户 评定 带 来 疲劳 与 压力 ， 并 且 不 利于 在 网 络 
这 种 本 身 就 有 交互 延迟 的 平台 上 运行 ， 会 带 来 更 大 的 时 间 差 感 ， 但 同时 它 也 能 带 来 一 项 益 
处 一 一 实时 监测 用 户 的 感受 。 因 此 客观 地 讲 ， 就 学 习 速 度 这 一 点 ， 带 有 偏差 单元 的 递归 神经 
网 络 会 有 很 大 优势 ， 但 若 从 用 户 满 意 度 或 预测 的 准确 性 来 看 ，IGA 会 略 胜 一 筹 。 具 体 差 距 所 
在 将 在 实验 2 中 进行 分 析 。 

(2) 实验 2 及 分 析 从 此 实验 起 ， 将 进行 实际 预测 效果 的 评测 ， 即 使 用 学 习 完 毕 的 网 
络 对 非 学 习 样 本 服装 进行 评价 值 的 预测 ， 观 测 其 预测 效果 。 在 本 实验 中 ， 首 先 选 用 同 季节 的 
16 套 样 本 服装 进行 预测 ， 就 是 令 网 络 学 习 用 的 样本 服装 同 预测 的 服装 为 相同 季节 服装 。 由 
于 原先 的 研究 大 体 上 是 在 同一 季节 上 进行 的 ， 这 样 规定 的 目的 在 于 和 原先 研究 建立 相同 的 数 
据 环 境 ， 以 便 进行 比较 分 析 ， 同 时 也 为 下 一 步 的 研究 、 探 索 打下 基础 。 












































将 希望 预测 的 服装 特征 值 作 32[ 
为 学 习 完 毕 网 络 的 输入 值 ， 即 可 ?中 me f 
aa / 
得 到 此 服装 评价 值 的 预测 值 。 任 BS 267 a 
意 抽取 某 一 样本 ， 其 相应 的 10 个 BS >， 
评价 值 预 测 结果 如 图 6-25 Bra, GE ?中 
其 中 ， 实 线 为 实际 的 评价 值 ， 虚 ES ie 
线 为 网 络 输出 的 预测 值 。 i Ge ee a 
由 图 6-25 可 知 ， 总 体 上 看 ， ee a 
带 有 偏差 单元 的 递归 神经 网 络 可 eee 
以 基本 模仿 人 对 一 套 服装 在 各 方 图 625 带 有 偏差 单元 的 递归 神经 网 络 


面 的 看 法 走势 (针对 所 制定 的 10 ea eet 


个 形容 词 对 ) 。 但 在 实验 中 也 有 出 现 较 大 偏差 的 时 候 ， 如 图 中 对 第 6 个 形容 词 对 一 一 “粗俗 
的 一 优雅 的 ”的 预测 上 就 出 现 了 相对 略 大 偏差 ( 约 0.6) ， 可 以 认为 ， 这 是 由 于 个 人 的 评价 
域 值 不 同 所 导致 的 。 这 样 的 误差 还 是 可 以 接受 的 ， 并且 从 总 体 来 看 ， 预 测 效果 还 是 较 令 人 满 
意 的 。 

下 面 ， 再 来 看 一 下 以 16 个 样本 作为 整体 ， 对 于 某 一 形容 词 对 的 预测 效果 。 这 里 为 了 能 
够 与 原先 研究 使 用 的 方法 进行 比较 ， 也 同样 抽取 了 “华丽 的 一 质朴 的 ”作为 预测 效果 的 研 
究 对 象 ， 如 图 6-26 所 示 。 其 中 图 a 为 采用 带 有 偏差 单元 的 递归 神经 网 络 进 行 预测 的 效果 
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(图 中 实 线 为 实际 的 评价 值 ， 虚 线 为 网 络 输出 的 预测 值 ) E b 为 原先 使 用 的 ICA 和 数量 化 
] 类 公式 结合 的 方法 的 预测 效果 (图 中 粗 线 为 实际 评价 值 ， 细 线 为 算法 预测 值 ) 。 
4.5 
实际 值 
机 ; 
Eai 
aa a4 
= S30; TE 
5 os T2 
ge ` E 
2% 1 
ge R207 | 1 1 1 1 1 
ist a ee: ae eas Se Ta a 1S ea) 
样本 
1.0 | l | L 1 L | 
0 2 4 6 8g 10 2 14 16 
同时 进行 训练 的 16 个 样本 ij 


a) 


图 6-26 ”对 多 个 样本 针对 同一 形容 词 对 评价 的 预测 效果 
a) 带 有 偏差 单元 的 递归 神经 网 络 的 预测 效果 
b) IGA 和 数量 化 1 类 公式 结合 方法 的 预测 效果 


在 比较 中 可 以 看 出 ，IGA 的 确 比 带 有 偏差 单元 的 递归 神经 网 络 更 能 准确 地 预测 用 户 的 评 
价 ， 验 证 了 上 一 节 中 得 出 的 推论 。 但 从 



























































预测 情况 上 看 ， 带 有 偏差 单元 的 递归 神 。 28[ aoe 
经 网 络 也 基本 上 能 够 跟踪 用 户 对 不 同样 Aa ae 
本 给 出 不 同 评价 的 走势 ， 并 且 考虑 到 其 Belt 
更 能 满足 网 络 的 实时 性 要 求 的 性 能 ， 因 ”二 畦 20 
此 可 以 认为 这 种 算法 还 是 比较 满足 使 用 关切 16 
要 求 的 。 EAIA 
(3) 实验 3、 实 验 4 及 分 析 作为 10 
预测 的 拓展 研究 ， 按 照 循 序 渐进 原理 ， Pie A 
首先 进行 实验 3 相 邻 季度 间 的 预测 实验 ， 
即使 用 一 个 季度 的 样本 进行 学 习 ， 然 后 35 
对 其 相 邻 季度 服装 样本 的 评价 进行 预测 。 
其 操作 步骤 如 下 所 述 : 选取 春秋 季 的 8 Be 
套 服装 作为 训练 样本 ， 根 据 样本 数据 特 温 轩 2 
点 调整 神经 网 络 参数 ， 使 网 络 进入 稳定 TE 
值 域 。 对 网 络 进行 训练 ， 得 到 训练 后 的 ee, 
最 佳 效果 参数 。 本 
分 别 选 取 夏 季 与 冬季 各 8 套 服装 作 a a a ee a a E S C) 
为 预测 样本 ， 进 行 评 价值 的 预测 。 Lee OT EEA 
如 图 6-27 所 示 ， 图 a 为 以 春秋 季 服 z 
装 为 训练 样本 ， 夏 季 服 装 为 预测 对 象 得 图 6-27 相 邻 季节 间 预 测 实验 效果 
到 | 的 预测 效果 ， Al bb 为 同样 以 春秋 季 为 a) 带 有 偏差 单元 的 递归 神经 网 络 对 服装 评价 的 预测 效果 
b) 带 有 偏差 单元 的 递归 神经 网 络 对 服装 评价 的 预测 效果 

















训练 样本 ， 冬 季 为 预测 对 象 得 到 的 预测 
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效果 。 图 中 ， 实 线 为 实际 的 评价 值 ， 虚 线 为 网 络 输 出 的 预测 值 。 
再 进行 实验 4 一 一 向 反 季 节 预 测 实验 。 基 本 步骤 与 实验 3 相同 ， 不 同 的 是 训练 样本 服装 









































选 定 为 夏季 ， 预 测 样本 服装 选 定 为 3.5 
冬季 。 图 6-28 为 最 终 的 预测 效果 。 Be 30 
PRAM, BRN Fa, 
网 络 输出 的 预测 值 。 55 

综合 对 比 、 分 析 实验 2、3、4 Sg 
可 以 看 出 ， 从 总 体 趋势 来 讲 ， 预 测 E> T en 
效果 是 一 个 逐渐 变 差 的 过 程 。 这 也 

1.0 | | | | | | | | 

是 可 以 理解 的 ， 因 为 不 同 季节 的 服 ee 
装 在 样式 上 有 较 大 的 差 踊 ， 它 们 之 形容 服装 的 10 个 评价 形容 词 对 
间 的 关联 度 也 会 相应 地 减弱 ， 使 用 图 628 带 有 偏差 单元 的 递归 神经 





方法 进行 预测 时 ， 这 种 现象 的 出 现 是 必然 的 。 由 于 预测 服装 的 季节 相关 度 不 同 ， 整 体 效 果 的 
变化 过 程 可 以 从 四 个 方面 进行 分 析 ， 见 表 6-8。 
表 6-8 季节 相关 度 不 同 的 预测 实验 效果 比较 



































预测 误差 小 于 0.5 平均 误差 /平均 | 8 幅 图 片 中 
项 对 走势 变化 的 预 讽 
TEREKEN opani (St 10 对 )| RARE 。 | 用 户 满意 的 个 数 
实验 2: 相同 季节 | ”基本 吻合 ， 误 差 在 允许 范围 , 
B 8 ~10 0. 293/0. 8 6 或 7 
服装 预测 内 
实验 3: 相 邻 季节 | “大致 可 以 预测 走势 ， 但 有 一 
服装 预测 定 误差 6~9 0. 373/0. 975 4~6 
实验 4: 相反 季节 | ”只 有 一 部 分 形容 词 对 的 评价 a bere pe 
服装 预测 走势 可 以 预测 ， 误 差 较 大 Ko 2 




















表 6-8 数据 显示 ， 即 使 在 预测 效果 最 差 的 实验 4 中 ， 虽 然 在 整体 评价 的 走势 上 有 较 大 出 
入 ,但 仍然 有 近 半 数 形容 词 对 的 预测 误差 小 于 0.5 (之 所 以 将 误差 的 最 大 人 允许 范围 定 为 0. 5, 
是 因为 用 户 在 做 出 评价 时 的 心理 状态 一 般 并 不 稳定 ， 同 时 综合 考虑 到 用 鼠标 拖 动 “ 滑 块 ” 
时 所 带 来 的 误差 等 原因 ) ， 可 以 说 使 用 这 种 带 有 偏差 单元 的 递归 神经 网 络 ， 即 使 在 训练 样本 
数据 与 预测 样本 数据 关联 较 小 的 情况 下 ， 仍 能 够 在 一 定 范围 内 模仿 评价 的 效果 。 但 是 对 比 表 
格 中 2、4 项 可 知 ， 预 测 数 据 结果 与 用 户 实际 的 满意 度 还 是 有 一 定 的 差距 ， 因 此 需要 以 更 严 
格 的 用 户 实际 满意 度 来 决定 一 个 方案 的 可 行 性 。 通 过 实验 结果 的 对 比 ， 得 到 的 结论 是 : 使 用 
带 有 偏差 单元 的 递归 神经 网 络 只 能 进行 相同 和 相 邻 季节 服装 的 评价 预测 服务 ， 相 反 季节 服装 
的 预测 是 不 可 行 的 。 


6.4 基于 了 RBF 神经 网 络 的 离线 推理 机 建 模 


前 面 我 们 应 用 IGA 建立 了 个 性 化 智能 服装 选 购 系统 模型 。 在 系统 交互 过 程 中 ， 当 进化 
时 间 较 长 时 ， 用 户 会 产生 疲劳 。 针 对 这 一 问题 ， 除 了 在 6.3 节 中 提 到 的 自主 式 遗 传 方法 外 ， 
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还 可 以 考虑 使 用 神经 元 网 络 和 遗传 算法 相 结合 ， 来 增加 系统 的 自学 习 能 力 ， 绥 解 用 户 的 疲劳 
程度 。 

人 工 神 经 网 络 是 由 非 线性 处 理 单元 组 成 的 非 线性 大 规模 自 适 应 动力 系统 。 它 采用 分 布 方 
式 存储 信息 ， 具 有 联想 记忆 的 功能 ， 其 处 理 单元 执行 非 线性 运算 ， 使 网 络 具 有 很 强 的 自 适 应 
和 容错 能 力 。 多 年 来 的 研究 与 应 用 表明 ， 用 它 进行 信号 处 理 和 模式 识别 可 以 更 接近 于 人 类 思 
维 。 人 类 的 心理 是 一 个 非 线性 的 复杂 系统 ， 用 人 工 神经 网 络 研究 人 类 的 心理 模型 不 失 为 一 条 
值得 探索 的 研究 途径 。 在 本 节 中 ， 我 们 应 用 RBF 神经 网 络 来 建立 服装 选 购 人 工 心理 模型 。 

人 类 心理 、 情 感 是 一 个 复杂 的 非 线性 系统 ， 存 在 着 非 线性 和 不 确定 性 ， 其 动态 机 制 非常 
复杂 ， 但 是 随 着 计算 机 技术 和 人 工 智能 技术 的 迅猛 发 展 ， 为 情感 的 建 模 与 预测 提供 了 新 的 技 
术 和 方法 。 其 中 ， 人 工 神 经 网 络 因 其 广泛 的 适应 能 力 和 学 习 能 力 在 非 线性 系统 的 预测 方面 得 
到 广泛 应 用 。 

如 上 一 节 所 讨论 的 ， 当 进化 时 间 较 长 时 ， 用 户 会 产生 疲劳 ， 因 此 希望 系统 具有 自学 习 能 
力 。 针 对 这 一 问题 ， 在 本 节 中 ， 将 采用 一 种 径 向 基 神 经 网 络 离线 学 习 方式 来 减轻 用 户 的 疲劳 
程度 。 答 向 基 神 经 网 络 是 一 种 新 神 有 效 的 前 馈 式 神经 网 络 ， 由 于 该 网 络 输出 层 是 对 隐 层 的 线 
性 加 权 ， 使 得 该 网 络 避 免 了 像 反 向 传播 那样 繁琐 元 长 的 计算 ， 具 有 较 高 的 运算 速度 和 推广 能 
力 ， 同 样 该 网 络 也 有 较 强 的 非 线性 映射 功能 ， 故 而 本 节 采 用 径 向 基 神 经 网 络 来 训练 样本 。 这 
样 ， 当 用 户 感到 疲劳 时 ， 就 可 以 停止 交互 ， 而 由 系统 采用 基于 交互 式 遗传 算法 的 径 向 基 神 经 
网 络 来 对 用 户 历次 所 选 的 个 体 进行 离线 学 习 。 其 系统 框图 如 图 6-29 所 示 。 
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图 6-29 IGA 与 RBFNN 结合 的 检索 系统 框图 














RBF 神经 网 络 是 一 种 多 输入 单 输 出 的 前 馈 神 经 网 络 ， 这 里 将 图 像 的 46 维特 征 值 作为 网 
络 的 输入 ， 并 将 用 户 给 出 的 满意 度 值 作为 输出 。 其 网 络 结构 如 图 6-30 所 示 。 

图 6-30 中 ， 输 入 层 神经 元 只 起 连接 作用 ， 不 进行 信号 变换 。 隐 层 执行 的 是 一 种 用 于 特 
征 提取 的 非 线 性 变换 ， 它 将 输入 空间 映射 到 一 个 新 的 空间 ， 输 出 层 在 该 新 的 空间 中 实现 线性 
组 合 ， 可 调节 的 参数 就 是 该 线性 组 合 的 权 值 和 控制 基 函 数 形状 的 参数 。 在 图 6-30 中 ， 隐 层 
神经 元 采用 的 非 线 性 函数 是 高 斯 函数 。 
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2 
1 | |x -7| 
e(|x., -7,|] )=exp | - CG ms (6-37) 
2 T; 
式 中 ， Xo = (x Xoo Xn) HUARERE pE ot SBT | 


AREA T,= (ti, by, a) t) 为 第 i 个 隐 层 神经 元 的 
Hub; ec; 为 第 i 个 隐 层 节点 的 归 一 化 参数 。 
RBF 神经 网 络 的 输出 为 


M 
F(Xey,0;,T,) = È w6 (|x - 7 |) 638) 
bel 





cP, M 为 隐 层 单元 总 数 ; t=1, 2, =, N (N 为 训练 
样本 集中 的 样本 总 数 ) ; w; FE i PE PR BCS HT H A 
的 连接 权 值 。 

误差 定义 为 6-30 RBF 神经 网 络 结构 





e(t) =y(t) -F(X ,0;,T;) (6-39 ) 
SUP, y(t) HARA. AJ UIAR AS EE EE AB RAY Bh ee A Bl), B 


minE(W) = y' l e(t) I? (6-40) 


1s 
2 i=l 
式 中 ，y 为 权重 系数 ; y 为 略 大 于 1 的 常数 。 为 使 总 体 误差 减 小 ， 可 对 每 个 权 值 和 中 心 利用 
梯度 下 降 法 进行 不 断 修正 。 

权重 和 中 心 的 更 新 公式 如 下 ; 


ðE 
ort! =w; -N (n) (6-41) 
ðw; 
n+l m ok 
T+! =T" -n, —(n) (6-42) 
~ 0M, 


SH, n, m 为 学 习 效 率 因 子 ， 且 0 <7 <1, O<n, <1。 如 满足 收敛 条 件 ， 则 停止 ; 否则， 
令 n=n+1， 利用 权重 更 新 公式 重新 修正 权重 和 中 心 。 算 法 的 收敛 条 件 为 


IE(W,7T)" -E(W,T)"l<e (6-43 ) 


式 中 ， 为 给 定 的 足够 小 的 允许 误差 。 

将 此 网 络 应 用 于 用 户 选 购 心理 的 预测 。 将 图 像 的 46 维特 征 值 作 为 网 络 的 输入 ， 并 将 用 
户 给 出 的 适应 度 值 作为 输出 。 设 定 交 互 式 遗传 的 代数 最 多 为 10 代 ， 即 时 间 序 列 的 长 度 工 = 
10。 取 网 络 输入 节点 个 数 为 46， 输 出 节点 个 数 为 1， 隐 层 中 心 节点 个 数 M=50， 则 样本 个 数 
N =30, 

实验 1: 将 前 10 个 样本 作为 学 习 样 本 ， 后 20 个 样本 作为 预测 效果 检验 样本 。 学 习 时 ， 
经 过 10 次 迭代 后 的 平均 最 小 误差 为 0.016879。 网 络 学 习 好 后 ， 将 20 个 检验 样本 进行 预测 效 
果 检 验 。 学 习 和 预测 后 的 拟 合 曲 线 如 图 6-31 所 示 。 图 中 ， 粗 线 表 示 每 一 代 中 用 户 的 预测 结 
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果 ， 细 线 表示 RBF 神经 网 络 的 真实 评测 。 


实验 2: 将 前 20 个 样本 作为 学 习 样 本 ， 后 10 个 样本 作为 预测 效果 检验 样本 。 学 习 时 ， 


经 过 10 次 迭代 后 的 平均 最 小 误差 为 





0.001211。 网 络 学 习 好 后 , 将 10 个 





检验 样本 进行 预测 效果 检验 。 学 习 和 





预测 后 的 拟 合 曲 线 如 图 6-32 所 示 。 





用 户 满意 度 


实验 结果 表明 ，RBF 神经 网 络 具 











有 较 快 的 运算 速度 和 最 佳 表 近 性 能 ， 








预测 数据 与 实际 数据 基本 吻合 ， 取 得 
了 较 好 的 效果 。 训 练 结果 的 分 析 表 


明 ， 由 这 个 模型 实现 的 情感 空间 到 特 图 6-31 


样本 数 
20 个 检验 样本 预测 后 的 拟 合 曲 























征 空间 的 映射 基本 上 是 符合 人 的 心理 








反映 的 。 当 用 户 感 到 疲劳 时 ， 就 可 以 





停止 交互 ， 而 由 系统 采用 基于 交互 式 





用 户 满意 度 


遗传 算法 的 径 向 基 神 经 网 络 来 对 用 户 





历次 所 选 的 个 体 进行 离线 学 习 。 经 过 


© = N 上 上 wm 











学 习 ， 网 络 首先 记录 下 用 户 的 感性 信 
息 ; 然后 将 新 的 个 体 作 为 网 络 输入 ， 
再 计算 网 络 输出 ， 即 得 到 个 体 的 适应 
度 。 在 得 到 新 的 适应 度 之 后 ， 再 进行 选择 、 


图 6-32 





10 个 检验 样本 预测 后 的 拟 合 曲线 


交叉 、 相 似 性 匹配 ， 直 到 满足 用 户 的 要 求 或 达到 





最 大 迭代 次 数 为 止 。RBFNN 离线 学 习 学 习 流 程 如 图 6-33 所 示 。 
个 性 化 智能 商品 选 购 系统 的 关键 技术 是 情感 推理 机 的 建立 。 用 户 选 购 心理 是 一 个 复杂 的 
非 线 性 系统 ， 存 在 着 非 线 性 和 不 确定 性 ， 其 动态 机 制 非常 复杂 。 利 用 传统 的 时 间 序 列 预测 技 











术 很 难 揭 示 其 内 在 的 规律 ， 而 人 工 神经 网 络 因 其 广泛 
的 适应 能 力 和 学 习 能 力 在 非 线 性 系统 的 预测 方面 得 到 
广泛 应 用 。 本 节 以 RBFNN 用 于 服装 选 购 人 工 心理 离线 
学 习 模 型 的 建立 ， 来 减轻 用 户 的 疲劳 程度 。 当 用 户 感 
到 疲劳 时 ， 就 可 以 停止 交互 ， 而 由 系统 采用 基于 IGA 
的 RBFNN 来 对 用 户 历次 所 选 的 个 体 进行 离线 学 习 。 
RBENN 是 一 种 新 突 有 效 的 前 馈 式 神经 网 络 ， 由 于 
该 网 络 输出 层 是 对 隐 层 的 线性 加 权 ， 使 得 该 网 络 避 免 
了 像 反 向 传播 那样 繁琐 宛 长 的 计算 ， 具 有 较 高 的 运算 
速度 和 推广 能 力 ， 该 网 络 有 较 强 的 非 线性 映射 功能 。 
因此 ， 针 对 进化 过 程 中 用 户 会 产生 疲劳 ,希望 系统 具 
有 自学 习 能 力 这 一 问题 ， 本 节 尝 试 采用 RBFNN 离线 学 
习 的 方式 来 减轻 用 户 的 疲劳 程度 。 对 情感 推理 机 训练 
结果 的 分 析 表 明 ， 由 这 个 模型 实现 的 情感 空间 到 特征 























空间 的 映射 基本 是 











图 6-33” RBFNN 离线 学 习 流 程 





fhe De 


符合 人 的 心理 反映 


的 。 说 明 这 是 一 种 较为 有 效 的 建立 服装 选 购 人 工 心理 模型 的 算法 。 
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65 ”色彩 与 人 工 心理 对 应 关系 的 建 模 与 应 用 


无 论 何 种 商品 ， 色 彩 都 是 其 构成 的 主要 元 素 之 一 ， 尤 其 是 服装 。 色 彩 不 仅 是 颜色 的 展 
示 ， 它 还 能 对 人 的 心理 产生 多 种 效应 。 因 此， 不 同色 彩 及 其 搭配 的 服装 能 使 顾客 本 身 乃 至 周 
边 的 人 产生 不 同 的 感受 ， 从 而 得 到 不 同 的 效果 。 每 个 人 都 希望 能 够 穿 上 适合 自己 ， 并 且 能 
突出 自身 优点 的 服饰 ， 最 好 还 能 够 抢 盖 、 淡化 缺点 。 人 性 化 、 个 性 化 的 系统 应 该 为 用 户 考 虑 
到 这 一 点 。 如 何 利用 色彩 心理 效应 ， 为 浏览 本 网 站 的 不 同 用 户 提供 与 其 自身 特征 密切 相关 的 

个 性 着 装 建议 ， 即 为 本 节 所 解决 的 内 容 。 就 服装 而 言 ， 在 这 里 只 针对 色彩 造成 的 “紧缩 一 
膨胀 感 ” “上 暖 一 冷 感 ” “明快 一 忧郁 感 ”“ “华丽 一 质朴 感 ” 和 “活泼 一 庄重 感 ” 做 一 定 的 
oe sey -紧缩 一 膨胀 感 ” 作 了 相对 深入 的 探索 。 


6.5.1 色彩 心理 效应 研究 和 实验 数据 的 采集 


1. 色彩 心理 效应 对 服装 的 影响 

色彩 由 于 波长 引起 的 视觉 成 像 位 置 有 前 后 区 别 ， 这 种 区 别 产生 了 色 域 ， 它 与 实际 色 域 比 
较 有 大 小 差异 。 色 域 比 实际 色 域 大 的 是 暖色 ， 它 具有 扩散 性 。 相 反 ， 色 域 比 实际 小 的 是 冷 
色 ， 它 具有 收缩 性 。 色 彩 的 膨胀 与 紧缩 ， 不 仅 与 波长 有 关 ， 而 且 还 与 亮度 有 关 。 亮 度 高 的 有 
膨胀 感 ， 亮 度 低 的 有 紧缩 感 。 较 胖 的 人 适合 穿 ， 也 较 愿 意 穿 紧 缩 感 的 衣服 ， 因 为 可 以 显得 苗 
条 些 ;， 较 瘦 的 人 选择 的 空间 就 略微 大 些 ， 但 不 宜 穿 太 过 紧缩 感 的 衣服 ， 相 反 穿 有 些 膨 胀 感 的 
衣服 可 以 显得 丰满 一 些 。 视 觉 色彩 引起 人 对 冷暖 感觉 的 心理 联想 ， 如 红 、 柳 、 黄 使 人 想到 
火 、 太 阳 ， 是 暖 感 的 ; 青 、 蓝 使 人 想到 水 、 冰 ， 是 冷 感 的 ; 紫 与 绿 处 在 不 冷 不 暖 的 中 性 阶段 
E, 不仅 是 色相 ， 明 度 对 冷暖 也 有 相对 的 影响 : 明 色 略 显 暖 ， 而 暗色 略 显 冷 。 反 映 在 服装 
上 ， 暖 色 的 衣服 有 热烈 、 温 暖 感 ， 冷 色 衣 服 使 人 感觉 稳重 、 凉 页 。 

ee a a 
随 着 亮度 的 提高 ， 渐 趋 明 快 。 在 饱和 度 方 面 ， 以 6 级 饱和 度 为 中 性 ,饱和 度 低 呈 忧 郁 感 ， 随 
着 侈 和 度 的 提高 ， 渐 趋 明快 ”尤其 是 纯色 ， 具 有 晤 高 的 明快 感 。 穿 明快 感 的 服 色 参 加 宴会 最 
适宜 ， 而 参加 悼念 活动 的 服装 必须 是 忧郁 色 。 

饱和 度 对 颜色 的 华丽 质朴 感 影响 最 大 ， 亮 度 也 有 影响 ， 色 相 影响 最 小 。 饱 和 度 方面 ， 在 
6 级 以 上 时 ， 饱 和 度 越 高 越 呈 华 丽 感 ; 6 级 以 下 时 ， 饱 和 度 越 低 越 呈 质朴 感 。 总 的 来 说 ， 饼 
艳 而 明亮 的 颜色 呈 华 丽 感 ， 浑 浊 而 深 暗 的 颜色 呈 质 朴 感 。 参 加 表演 、 娱 乐 等 需要 引 人 注 目的 
场合 ， 宜 穿 华丽 、 花 哨 的 服 色 ， 而 在 学 习 、 工 作 的 地 方 宜 穿 质朴 的 服 色 。 

上 暖色、 饱和 度 高 的 色 、 对 比 强 的 色 、 多 彩色 的 色彩 给 人 以 跳跃 、 活 泌 感 ; 而 冷色 、 
色 、 灰 色 给 人 以 严肃 、 庄 重 感 。 色 彩 的 庄重 与 活泼 运用 于 不 同年 龄 的 衣着 配色 ， yes 
服装 配色 多 活泼 感 ， 以 显示 朝气 勃勃 和 活泼 可 爱 ; 而 庄重 感 的 配色 适合 于 中 老年 服装 ， 以 显 
示 着 装 人 的 成 熟 老练 。 

2. 实验 数据 的 采集 

虽然 对 以 上 关注 的 几 个 方面 色彩 心理 效应 ss ened eam ncaa 
明 ， 但 若 要 构建 起 具体 的 数学 模型 ， 则 需要 广泛 采集 更 为 精细 的 数据 。 本 节 以 “紧缩 一 
ee 
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论 的 验证 和 量化 。 评 价 的 征集 群体 为 在 校 大 学 生 ， 共 收集 了 20 份 评价 ， 取 其 平均 值 作为 最 
终 大 众 心理 的 评价 值 。 

评价 标准 : 评价 者 就 以 上 提 到 的 5 对 形容 词 进 行 评分 ， 除 “膨胀 一 紧缩 ”外 ， 其 余 4 
对 均 依 照 SD 评价 法 进行 评价 。 而 对 “膨胀 一 紧缩 ” 感 的 评价 ， 为 使 其 有 一 个 对 比 标准 ， 并 
tt 给 出 评价 值 ， 采 集 时 ， 规 定 每 组 中 第 一 个 色 块 的 值 为 1， 

觉 紧 缩 ， 则 给 出 一 个 比 1 小 的 值 ， 相 反 给 出 一 个 比 1 大 的 值 ， 评 价值 在 0 ~2 之 间 。 

1) 选用 大 小 相同 的 长 方形 作为 颜色 附着 体 ， 在 改变 色彩 的 色相 基础 上 ， 依 次 改变 亮度 
的 大 小 ， 组 成 3 x4 的 色 块 组 ， 如 图 6-34a 所 示 。 此 图 用 来 进行 五 个 形容 词 对 整体 评价 的 采 
集 。 处 理 完 的 评价 数据 表格 见 表 6-9a。 

2) 3 x4 的 色 块 组 。 保 持 色相 不 变 ， 用 4 个 色 块 进行 纯度 变化 ， 其 余 8 个 进行 更 细微 的 

度 变 化 ， 如 图 6-34b 所 示 。 此 图 仅 用 来 进行 “膨胀 一 紧缩 ”的 评价 ， 目 的 在 于 获取 更 细 化 
的 感 觉 数值 分 布 。 最 终 得 到 的 评价 数据 见 表 6-9b。 

3) 3 x4 色 块 组 。 随 意 抽 取 非 “三 原色 ”为 基础 色 ， 分 别 进行 色相 、 饱 和 度 、 亮 度 的 单 
独 变化 ， 如 图 6-34c 所 示 。 此 图 用 来 进行 “ 暧 一 冷 "、“ 华 丽 一 质朴 ”、“ 活 泼 一 庄重 ”三 对 
形容 词 的 评价 ， 本 节 将 选取 这 三 种 色彩 心理 效应 作为 次 重点 进行 研究 、 应 用 。 评 价 数 据 见 表 
0-9c。 












































120, 00 120,100,75 120,100,50 120,100,25 


240,100,100 240,75,100 240,50,100 240,25,100 


240,100,75 240,100,50 240,100,25 240,100,100 240,100,88 240,100,75 240,100,63 


36 p 360,100,75 360,100,50 360,100,25 240,100,50 240,100,38 240,100,25 240,100,13 


a) b) 


100 360,100,100 





30,100, 100 30,75,100 30,50,100 30,25,100 





300,100,100 300,100,75 300,100,50 300,100,25 
c) 


图 6-34 色彩 -心理 评价 值 的 采集 
a) 色 块 组 1 b) 色 块 组 2 c) 色 块 组 3 














221 


36-9 对 相应 色 块 组 收集 的 评价 数据 







































































a) 色 块 组 1 的 评价 数据 
色 块 1 2 3 4 5 6 7 8 9 10 11 12 
紧缩 一 膨胀 1.0 | 0.8 0.7 0.5 0.9 | 0.8 0.6 | 0.4 1.1 0.9 | 0.7 0.5 
RY 2.4 | 3.0 | 3.8 | 44 | 3.4 | 3.5 | 42 | 47 13 | 2.1 2.9 3.7 
明快 一 忧郁 1.0 1.8 | 29 | 4.0 1.7 | 26 | 3.5 | 4.4 1.2 | 22 | 3.3 4.6 
华丽 一 质朴 1.7 2.4 | 3.2 | 3.8 2.2 | 2.8 3.3 3.9 1.7 2.3 3.0 3.8 
活泼 一 庄重 0.9 1.9 | 3.0 | 40 | 2.3 2.9 | 3.8 | 4.6 1.8 2.6 | 3.6 4.4 

b) 色 块 组 2 的 评价 数据 
色 块 1 2 3 4 5 6 7 8 9 10 11 12 
紧缩 一 膨胀 1.0 0.9 0.7 0.7 1.0 0.9 0.8 0.7 0.7 0.6 0.5 0.4 

c) 色 块 组 3 的 评价 数据 
色 块 1 2 3 4 5 6 7 8 9 10 11 12 
KY 2.9 | 3.6 | 3.8 1.2 1.6 1.8 | 27 | 26 | 26 | 28 | 3.3 3.8 
华丽 一 质朴 1.8 2.3 1.7 1.4 | 2.3 3.1 3.8 | 4.2 1.5 2.4 | 3.5 4.6 
活泼 一 庄重 1.1 2.2 | 2.9 1.8 2.3 2.7 2.9 | 3.0 | 2.3 3.4 | 4.1 4.8 









































由 表 6-9 可 看 出 ， 色 彩 造成 的 色觉 心理 变化 与 上 节 中 所 叙述 的 是 基本 相符 的 。 


6.5.2 
1. 数据 分 析 


色彩 与 人 工 心理 对 应 关系 的 建 模 方法 


紧缩 膨胀 感 与 色彩 的 色相 、 亮 度 有 较 大 关联 ， 尤 其 是 明度 。 为 明确 它们 之 间 的 关联 程 


RE, 按照 改进 后 的 HSV 量化 方法 对 照 表 


3.7a、b 所 示 的 数据 进行 了 图 形 描述 ， 如 图 1.0- 
6-35 所 示 。 其 中 图 6-35a 为 膨胀 感 随 户 值 变 0.9- 
化 关系 ， 图 6-35b 为 膨胀 感 随 " 值 变化 关系 。 | 
图 6-35a 中 ， 由 上 到 下 曲线 的 顺序 分 别 。 BOP 
为 : 红 、 绿 、 蓝 。 由 此 可 得 到 结论 ， 色 彩 给 0 人 
PARSE WH RII BEDE EK 的 冷暖 变 0.57 
化 而 变化 的 。 图 6-35b 是 在 图 6-35a 的 基础 04 
E, HTHP h =240 的 蓝 色 进行 更 加 细 
微 的 " 值 变化 ， 从 而 得 到 更 加 贴近 人 心理 的 
变化 曲线 。 此 图 不 仅 展现 出 膨胀 紧缩 感 是 随 0.9L 
v ERIE EARE, AA, o 值 0.8[ 
在 中 间 值 附近 变化 时 ， 由 于 人 体 的 色觉 敏感 ” 吉 07| 
度 问题 导致 测试 者 对 色 块 展现 的 紧缩 膨胀 效 Š osl 
应 并 无 较 大 的 区 别 感 ; 当 " 值 脱离 中 间 区 域 gal 
FH 100% BY 0% 变化 时 ， 色 块 的 膨胀 紧缩 效 wale 
应 对 测试 者 相应 产生 了 较 大 的 影响 ， 而 当 ， 和 


值 接近 100% ， 即 颜色 越 来 越 趋 近 于 黑色 时 ， 
人 体 的 色觉 敏感 度 下 降 ， 导 致 测试 者 对 色 块 
展现 的 紧缩 膨胀 效应 再 次 呈现 区 别 感 降低 的 
现象 。 





1.1 





























Al 6-35 DKEA 0. 
亮度 (v) fi b 系 
a) 膨胀 感 随 h 值 变化 关系 b) WIKRE v 值 变化 关系 
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2. 使 用 人 工 神经 网 络 方式 建 模 

在 观察 和 数据 收集 的 基础 上 ， 本 节 首 先 尝试 了 使 用 人 工 神 经 网 络 算法 进行 紧缩 膨胀 感 的 
色彩 心理 建 模 。 网 络 结构 为 三 层 神 经 网 络 ， 隐 层 节点 数 为 6, 输入 层 到 隐 层 和 隐 层 到 输出 层 
的 激励 函数 分 别 为 正切 Sigmoid k3% pK (Tansig) 和 纯 线 性 传递 函数 ( Purelin)。 其 中 正切 
Sigmoid 传递 函数 如 式 (644) 所 示 ， 纯 线性 传递 函数 为 将 输入 值 按 原 值 输出 。 


2 
y= = -1 (6-44 ) 
l+e ` 
以 色彩 的 v 值 作为 人 工 神 经 网 络 的 输入 、 膨 胀 感 评价 值 作为 网 络 输出 ， 进 行 网 络 训练 。 
训练 后 网 络 对 原样 本 的 仿真 结果 和 仿真 过 程 误差 控制 曲线 如 图 6-36 所 示 。 图 6-36a 中 ， 
“ED 为 仿真 得 到 的 数值 ,“- -”( 虚线 ) 为 实际 输出 值 。 





-14 


























x 
a Lal see 
| 
Z 09+ a Lob 
= 0.8F > 
/ 0.5 上 
AL es 
a 0.6- a 灯 0.0F 
wy 1K 
a any 
= 0.5- a -0.5 - 
x 04[ 杰 7 -1.0 L 
WR 0.3 L l ! l ! L1 1.5 ja ii | | | | 
1 23 4 5 6 7 8 9 10 “Tl 2 3 4 5 6 7 8 9 10 
v v 
a) b) 


图 6-36 人工 神经 网 络 算法 训练 结果 和 误差 控制 曲线 
a) 算法 训练 结果 b) 误差 控制 曲线 





从 图 中 可 看 出 ， 此 人 工 神 经 网 络 经 训练 后 ， 对 样本 的 仿真 值 与 实际 值 基本 吻合 ， 误 差 能 





够 控制 在 10 -7 级 上 。 在 此 基础 上 ,对 训 10 ERA 
练 后 的 网 络 进行 样本 之 外 的 预测 实验 。 ?| ae 
仿真 结果 如 图 6-37 中 带 有 节点 的 虚线 所 ST ee 
示 。 Wi p- 

非 样本 的 预测 结果 也 是 较 令 人 满意 osl = 
的 ， 其 最 大 误差 值 如 图 所 示 小 于 0.02。 045 











因此 ， 可 得 出 结论 : 使 用 人 工 神经 网 络 。 ox 4 1 14 + 1 1 4 7 


搭建 的 基于 紧缩 膨胀 感 的 色彩 心理 数学 vi 





产生 空间 大 小 变换 的 感觉 。 

3. 使 用 曲线 拟 合 方法 建 模 

在 实验 研究 和 实际 应 用 中 ， 经 常 要 把 离散 的 测量 数据 转化 为 便于 研究 的 曲线 方程 ， 即 曲 
线 拟 合 。 它 是 一 种 来 源 于 实际 ， 又 广泛 应 用 于 实际 的 重要 方法 。 随 着 计算 机 计算 水 平 的 不 断 
提高 ， 此 应 用 已 在 国民 生产 和 科学 研究 中 扮演 着 越 来 越 重要 的 角色 。 
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正 交 基 薄 数 因为 涵盖 了 竹 函 数 、 切 比 雪夫 多 项 式 、 多 元 正 交 吗 数 系列 等 ， 而 常 被 采用 为 
拟 合 函 数 。 如 在 曲线 拟 合 中 最 常见 的 二 次 曲线 ， 就 采用 二 元 正 交 基 函 数 系列 : LS aw yy x, 
多、 妙 、… 进 行 拟 合 。 最 小 二 乘法 在 确定 各 拟 合 函数 的 系数 时 ， 尽 管 拟 合 的 震 数 不 是 很 高 ， 
但 它 可 使 误差 较 大 的 测量 点 对 拟 合 曲线 的 精度 影响 较 小 ， 而 且 实现 简单 ， 便 于 物理 分 析 和 研 
究 ， 故 成 为 最 常用 的 方法 之 一 。 

对 m 元 正 交 基 函 数 ， 其 拟 合 函数 的 形式 为 


y= È ag; Caaan) (6-45) 
RP, g 为 由 zm 个 自 变量 构成 的 一 个 正 交 基 范 数 。 如 m =3， 对 应 函数 系列 为 1、x 、x、 


EEIN x on x3 、 Kikan e XI1X2X3、 bE a; 是 待 求 的 系数 。 
令 +n 次 测量 中 第 1 次 的 测量 值 为 (Wi Xais ,Nni, y;) y 则 测量 误差 为 








1 
0; = De estas ah) 一 入 (6-46 ) 
为 便于 表达 ,， $ 
Bi = Bj CIEE 0°77" Xi) (6-47) 
这 样 ， 用 最 小 二 乘法 可 建立 误差 的 目标 函数 
n l 2 
O(a, 0 0) = 2 (Lag, -站 (6-48 ) 
对 式 (6-48) 取 最 小 值 的 必要 条 件 是 其 一 阶 偏 导数 等 于 零 ， 即 
00 z l 
2Y [eul Zagi) ]=0 (=12 (6-49) 
ða, i=l jel 
可 整理 为 
1 
Bh (= (6-50) 
Sj Eki8ji T, = a (6-51) 


进一步 可 把 式 (6-49) 写 为 矩阵 形式 
Sa = 了 (6-52) 

式 中 ,5 为 工 阶 对 称 方 阵 ; a、T 分 别 为 含有 1 个 元 素 的 列 向 量 。 

根据 上 述 步 又 ， 便 可 求 出 离散 测量 数据 对 应 的 拟 合 曲线 方程 。 在 MATLAB 中 实现 最 小 
二 乘法 拟 合 通常 采用 polyfit 函数 进行 。 

多 项 式 困 数 拟 合 : a = polyfit (xdata, ydata, n); 
Ep, n 表示 多 项 式 的 最 高 阶 数 ; xdata、ydata 为 将 要 拟 合 的 数据 ， 它 是 用 数组 的 方式 输入 。 
输出 参数 a 为 拟 合 多 项 式 y =a,x7"+Lt+a,x+a,,, NAM a=([a,,L,a,,a,,,]. 

本 次 实验 中 采集 得 到 的 离散 测量 数据 如 下 : 

xdata= {10 8.8 65 65 5 3.8 2.5 1.3} 

ydata= {0.97 0.94 0.825 0.72 0.69 0.585 0.48 0.395} 

多 项 式 的 最 高 阶 数 选 定 是 需要 一 定 的 经 验 的 ， 太 小 ， 则 误差 过 大 ; KA, BARAR 
小 ， 但 在 程序 运行 时 会 带 来 运算 负担 这 重 等 问题 。 通 过 不 断 尝试 的 方式 ， 得 到 多 项 式 最 高 阶 
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数 的 最 佳 值 为 7。 经 MATLAB 计算 得 到 
a =[0.0001, -0.0031,0.0504, -0.4260 ,2.0131, - 5. 2642 ,6. 0355, - 3. 2336 | 
从 而 获得 与 离散 测量 数据 对 应 的 拟 合 曲线 方程 为 
y =0. 0001x" —0.0031x° +0. 0504x° -0.4260x +2.0131x —5.2642x7 +7.0355x -3.2336 
(6-53) 








由 此 方程 得 到 的 拟 合 曲线 与 原 离散 测量 数据 点 的 比较 效果 如 图 6-38 所 示 。 
4. 方案 的 选择 与 分 析 ig 
比较 由 神经 网 络 算法 得 到 的 预测 os 
效果 图 与 拟 合 得 到 的 拟 合 曲线 效果 os 
图 ， 不 难 发 现 拟 合 得 到 的 曲线 更 为 贴 a 07 
近 原 始 的 离散 测量 数据 。 另 外 ， 从 算 Šos 
法 速度 和 效率 上 来 考虑 ， 神 经 网 络 算 03 
法 每 次 学 习 得 到 的 网 络 模型 都 是 不 同 。 04 
的 ， 因 而 在 网 络 误差 和 预测 效果 上 也 03 
是 不 确定 的 ， 网 络 的 学 习 与 仿真 预测 vt 
也 是 需要 一 定 的 训练 时 间 的 ， 另 外 就 
是 在 算法 程序 的 编写 上 需要 至 少 涉及 
2 或 3 个 for 循环 ， 时 间 复 杂 度 较 大 ， 曲 线 拟 合 方式 得 到 的 是 一 个 误差 较 小 ， 并 且 是 固定 的 
曲线 函数 ， 因 而 在 预测 效果 和 计算 误差 上 是 可 预测 、 固 定 的 ， 同 时 在 程序 编写 与 运行 时 ， 只 
需要 按照 事先 算 好 的 曲线 函数 编写 、 计 算 ， 只 占用 一 条 语句 ， 因 而 在 程序 的 时 间 复杂 度 上 节 
省 了 很 多 ， 相 应 的 运行 时 间 也 会 大 大 减少 。 
基于 以 上 的 对 比分 析 ， 可 以 得 出 结论 :对 于 本 次 设计 中 使 用 的 网 络 平台 系统 ， 曲 线 拟 合 
方式 比较 适合 作为 后 台 的 实时 智能 算法 。 这 是 就 应 用 的 系统 平台 所 言 ， 但 若是 从 进一步 的 研 
究 拓 展 性 而 言 ， 还 是 人 工 神经 网 络 算法 比较 合适 ， 因 为 其 他 色彩 心理 效应 模型 的 性 质 还 不 确 
定 ， 而 人 工 神经 网 络 算法 在 对 于 不 确定 事物 关系 的 描述 上 是 有 一 定 优势 的 。 


6.5.3 色彩 心理 效应 模型 在 个 性 咨询 系统 中 应 用 算法 的 设计 


本 系统 研究 至 今 ， 一 直 在 努力 构造 一 个 体现 人 性 化 、 个 性 化 的 网 上 导购 系统 ， 而 服装 的 
个 性 选择 不 仅 从 个 人 的 偏好 上 来 体现 ， 还 体现 在 针对 不 同 用 户 、 不 同 服 色 心理 需求 上 。 因 
此 ， 将 色彩 心理 效应 的 数学 模型 加 入 到 导购 系统 中 是 符合 系统 完善 、 进 化 要 求 的 。 

除去 着 装 人 的 主观 偏好 ， 决 定 服 色 心 理 的 客观 个 性 因素 有 下 列 几 个 方面 : 

(1) 着 装 动 机 ”着装 动机 指 穿 着 者 着 衣 的 目的 、 和 需要、 欲求 的 不 同 。 

(2) 体形 、 肤 色 体形 、 肤 色 是 穿着 者 服 色 心 理 的 生理 因素 。 

(3) 性 别 、 年 龄 ”性 别 、 年 龄 是 穿着 者 服 色 心理 的 生理 依据 之 一 。 

这 些 因素 都 在 顾客 对 服装 的 选择 和 着 装 效果 上 有 重要 影响 。 为 了 尊重 顾客 的 主观 偏好 ， 
本 系统 将 针对 这 些 因素 对 服装 的 影响 ， 根 据 顾客 填写 的 个 人 特征 数据 〈 如 性 别 、 年 龄 、 身 
高 、 体 重 等 ) 及 特殊 需求 (与 因素 中 的 “着 装 动 机 ”相对 应 ) 进行 计算 、 处 理 ， 最 终 为 顾 
客 提供 可 选择 性 的 着 装 指导 建议 。 

根据 科学 上 认可 的 体重 与 身高 标准 比例 公式 ， 可 得 到 标准 比例 值 V 有 


























图 6-38 ”膨胀 感 与 值 变化 关系 曲线 拟 合 效果 
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Male: N = (身高 -120)/ 体 重 =0.8 (6-54) 
Female; N = (身高 — 120) /(K Hf =0. 75 (6-55) 
提取 顾客 填写 的 身高 、 体 重 数值 ， 计 算得 到 相应 的 比例 值 n= (身高 -120) /体重 及 个 
人 比例 与 标准 比例 的 比值 m =N/n。 车 m >1， 则 说 明 用 户 偏 胖 ， 胖 的 程度 由 m 给 出 ; 相反 ， 
车 m<1， 则 说 明 用 户 偏 瘦 。 
根据 符合 顾客 主观 偏好 的 前 20 件 衣服 色彩 的 了 值 ， 通 过 紧缩 膨胀 感 的 色彩 心理 模型 ， 
计算 这 些 色彩 的 膨胀 感 预 测 值 z。 如 图 6-35b 中 曲线 所 示 ， 可 得 到 值 特性 : O<p<1, Ap 
在 0.7 附近 显现 为 中 间 值 区 域 。 根 据 希 望 达到 色觉 效应 与 生理 比例 互补 的 目的 ， 并 且 考 虑 到 
顾客 都 希望 自己 能 够 显得 瘦 些 的 心理 ， 令 
“4 m> litt, 4pm <0.7, WEIR ; 
“4m <0. 75 时 ， fr pm >0. 5， 则 推荐 此 服装 。 
另外 ， 根 据 顾客 在 “特殊 附加 要 求 ” 中 指出 的 衣着 穿戴 的 场合 ， 针 对 此 场合 对 色彩 
HSV 值 的 要 求 ， 再 对 推荐 的 服装 进行 筛选 。 筛 选 规则 结合 理论 上 色觉 效应 产生 的 条 件 与 先 
前 预测 得 到 的 用 户 在 相关 方面 的 评价 值 共同 制定 ， 如 下 所 示 : 
1) 先 不 做 任何 筛选 。 
2) 出 席 严 肃 场合 ， 推 荐 了 <4 或 对 “正式 的 一 随意 的 ”评价 值 较 小 的 服装 。 
3) KERA, HA party 时 ， 推 荐 了 >6 且 S$>6, 或 V、S<1, 或 $<1、V>9 的 服装 。 
4) 出 席 休 闲 娱乐 场合 ， 推 荐 S>6 或 “稳重 的 一 活泼 的 ”形容 词 对 评价 值 较 大 的 服装 。 
此 系统 功能 模块 的 最 终 整 体 算 法 流程 如 图 6-39 所 示 。 
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hy J. H i 或 
moet m>1Fil y,<0.7 或 
m<0.75 和 y1>0.5 
其 他 
: 不 推荐 
m>1 或 
m<0.75 
0.75<m<1 时 可 选取 任何 色彩 
映射 到 理论 上 色觉 
eni le 
ie 45 HSV; 相 比较 
|| 推荐 


先前 预测 得 到 的 
用 户 在 相关 方面 
的 评价 值 

















图 6-39 个 性 咨询 系统 总 体 算法 流程 
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6.6 ”对 顾客 购买 结果 的 综合 推断 一 一 贝 叶 斯 网 络 方法 的 应 用 


原先 所 作 的 探索 和 算法 实验 都 是 以 构建 顾客 心理 模型 、 探 究 顾客 喜好 特性 的 数学 描述 作 
为 研究 目标 ， 而 对 购物 系统 运作 的 最 终 目 的 一 一 顾客 对 某 一 套 服装 的 选取 、 购 买 ， 这 一 结果 
产生 的 可 能 性 没有 做 过 进一步 的 探讨 。 然 而 ， 真正 智能 的 导购 系统 应 能 够 直接 对 最 终 的 结 
做 出 初步 预测 ， 从 而 反 过 来 对 顾客 进行 导购 。 

是 否 购买 某 一 商品 ， 会 涉及 包含 先前 研究 在 内 的 对 商品 的 “喜好 性 ”和 商品 的 “适合 
性 ”等 多 种 因素 ， 这 是 一 个 综合 决策 判断 的 过 程 ， 因 此 本 节 在 对 此 方向 的 拓展 研究 中 选用 
了 一 种 新 型 的 决策 型 算法 一 一 贝 叶 斯 网 络 。 


6.6.1 贝 叶 斯 网 络 理论 基础 
贝 叶 斯 网 络 (也 称 为 置信 和 度 网 络 、 因 果 网 络 ) 使 用 概率 积分 表示 不 确定 性 。 这 称 为 贝 


















































叶 斯 积分 或 条 件 概率 。 条 件 概率 描述 为 给 定 事件 如 、 事 件 4 发 生 的 概率 为 <， 由 
P(AIB) =x (6-56) 
概率 积分 最 基础 的 规则 是 联合 事件 的 概率 ， 即 
P(AIB)P(B) =P(A,B) (6-57) 


式 中 ,事件 4 和 8B 发生 的 概率 为 事件 B 发 生 的 概率 ， 乘 以 给 定 事 件 B 的 情况 下 事件 4 
发 生 的 条 件 概率 。 转 换 公 式 或 者 贝 叶 斯 规则 式 (6-58) 是 基于 式 (6-57) 得 到 的 。 
P(AIB) A (6-58) 
P(B) 
不 定性 知识 的 推理 ， 长 期 以 来 一 直 被 认为 是 AI 领域 中 的 一 个 重要 研究 问题 ， 而 概率 方 
法 是 迄今 为 止 最 为 流行 的 方法 ， 这 主要 归功 于 贝 叶 斯 网 络 (Bayesian Belief Network) 良好 的 
知识 表达 框架 。 在 一 些 领 域 中 ,借助 贝 叶 斯 网 络 ， 人 们 能 揭示 和 发 现 许 多 令 人 信服 的 概率 依 
赖 关 系 。 贝 叶 斯 网 络 为 因果 关系 的 表示 提供 了 便利 的 框架 ， 它 是 一 个 功能 强大 的 能 处 理 不 确 
定性 的 工具 。 贝 叶 斯 网 络 用 图 形 模 式 描述 变量 集合 间 的 条 件 独 立 性 ， 而 且 允 许 将 变量 间 依 赖 
关系 的 先 验 知识 和 观察 数据 相 结 合 。 从 1981 年 R. Howard 和 J. Matheson 提出 贝 叶 斯 网 络 以 
来 ， 贝 叶 斯 网 络 的 研究 已 引起 了 人 们 相当 大 的 兴趣 。 经 过 十 几 年 的 发 展 ， 贝 叶 斯 网 络 广泛 应 
用 于 故障 检测 、 医 疗 诊断 、 交 通 管理 、 数 据 挖掘 等 方面 。 
现实 世界 中 ， 一 个 对 象 通常 可 以 由 否 干 属性 变量 来 描述 ， 这 些 变 量 集 的 各 种 取 值 组 合 就 
构成 了 该 对 象 的 状态 空间 。 由 于 这 些 变 量 间 存 在 着 一 定 的 关系 (独立 或 依赖 )， 所 以 通过 对 
它们 的 研究 ， 可 以 得 到 对 象 的 知识 表达 。 贝 叶 斯 网 络 模拟 人 的 认 知 思维 推理 模式 ， 用 一 组 条 
件 概 率 函 数 ， 以 有 向 无 循环 图 (DAG) 形式 表示 不 确定 性 的 因果 推理 模型 。 贝 叶 斯 网 络 的 
言 息 由 两 部 分 组 成 : 首先 是 表示 条 件 独立 性 信息 的 网 络 结构 S，S 中 的 每 一 节点 表示 特定 域 
中 的 一 个 概念 或 变量 ， 在 节点 间 的 连接 (AM) 表示 了 可 能 的 因果 关系 ， 体 现 了 域 知识 
定性 方面 的 特征 ; 其 次 ， 每 一 节点 都 附 有 与 该 变量 相 联系 的 条 件 概率 分 布 (CPD) 函数 ， 如 
果 变 量 是 离散 的 ， 则 它 表 现 为 给 定 其 父母 节点 状态 时 该 节点 取 不 同 值 的 条 件 概 率 表 (CPT). 
由 于 贝 叶 斯 网 络 表示 了 因果 过 程 的 总 体 结构 ， 故 它 可 被 看 作 是 拥有 许多 不 同 组 合 的 一 个 抽象 
知识 库 。 这 是 从 总 体 理论 结构 上 来 理解 贝 叶 斯 网 络 。 从 数学 推理 过 程 上 讲 ， 贝 叶 斯 网 络 中 每 
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一 节点 有 一 组 有 限 的 排他 状态 ， 其 似 然 分 配 表示 为 信和 度 值 ， 有 向 连接 表示 它们 之 间 的 相关 或 
者 推论 关系 ， 事 件 本 身 的 不 确定 性 以 节点 的 信 度 值 表示 ， 专 家 知识 的 不 确定 性 以 条 件 概 率 表 
示 。 通 过 在 贝 叶 斯 网 络 中 输入 证 据 ， 更 新 节点 的 后 验 信和 度 值 ， 则 可 以 对 节点 事件 进行 推理 。 

定义 1: 给 定 随 机 变量 集合 w v 和 随机 变量 V， 如 果 式 (6-59) 成 立 ， 则 称 随 机 变量 了 
条 件 独立 于 变量 集 ， 记 作 : (Vliv ,0;) 

P(Vlv,,0,) =P(Vlv;) (6-59 ) 

定义 2: 给 定 n 个 随机 变量 构成 的 集合 v= (V, Vl, oe, Vi, BETES ERG 
RIE P (Vi, Vi, +, Vi) 可 以 表示 为 一 个 贝 叶 斯 网 络 <B,，B, > ， 它 由 两 部 分 构成 : 

1) B, 为 贝 叶 斯 网 络 结构 ， 是 一 个 具有 并 个 节点 的 有 向 无 循环 图 ， 图 中 节点 为 随机 变 
量 ， 节 点 的 状态 对 应 于 变量 的 值 ， 图 中 有 向 边 表示 节点 之 间 的 条 件 〈 因 果 ) 的 依赖 关系 。 

2) B, 为 贝 叶 斯 网 络 的 条 件 概 率 表 集 合 ， 每 个 节点 V, 都 有 一 个 条 件 概率 表 ， 用 来 表示 
V, 同 其 父 节 点 P, (VO) 的 相关 关系 : 条 件 概率 P (V1 P, (V;)) 0 

利用 条 件 独立 性 进行 分 解 ， 可 将 联合 概率 分 布 简化 表示 为 乘积 形式 ， 如 下 式 所 示 : 


PCV, PRZ) = TI POY! PO) (6-60) 


从 中 可 看 出 ， 按 照 条 件 独 立 性 进行 分 解 ， 极 大 地 减少 了 计算 联合 概率 所 需 的 参数 数目 ; 
进一步 分 析 可 以 看 出 ， 如 果 给 随机 变量 赋予 不 同 的 序号 ， 会 产生 不 同 的 贝 叶 斯 网 络 结构 ; 因 
此 ， 一 个 联合 概率 分 布 可 以 表示 为 多 个 不 同 结构 的 贝 叶 斯 网 络 。 

利用 建立 的 贝 叶 斯 网 络 模型 解决 实际 问题 的 过 程 称 为 贝 叶 斯 网 络 推理 。 在 推理 中 ,那些 
值 已 确定 的 变量 构成 的 集合 称 为 证 据 D， 需 要 求解 的 变量 集合 称 为 假设 ,一 个 推理 问题 就 
是 求解 给 定 证 据 条 件 下 假设 变量 的 后 验 概率 P(XID) 。 

贝 叶 斯 网 络 的 推理 实际 上 是 进行 概率 计算 。 具 体 而 言 ， 在 给 定 一 个 贝 叶 斯 网 络 模型 的 情 
况 下 ， 根 据 已 知 条 件 ， 利 用 贝 叶 斯 概率 的 计算 方法 ， 计 算出 所 感 兴 趣 的 查询 节点 发 生 的 概 
率 。 在 贝 叶 斯 网 络 推理 中 ， 主 要 有 以 下 两 种 推理 方式 ; 

(1) 因果 推理 ”是 由 原因 推 知 结论 ， 也 称 为 由 顶 向 下 的 推理 。 目 的 是 由 原因 推导 出 结 
果 。 已 知 一 定 的 原因 (证据)， 则 用 贝 叶 斯 网 络 的 推理 计算 , 求 出 在 该 原因 的 情况 下 结果 发 
生 的 概率 。 

(2) 诊断 推理 是 由 结论 推 知 原因 ， 也 称 为 由 底 向 上 的 推理 。 目 的 是 在 已 知 结果 时 ， 找 
出 产生 该 结果 的 原因 。 已 知 发 生 了 某 些 结果 ， 根 据 贝 叶 斯 网 络 推理 计算 ， 得 到 造成 该 结果 发 
生 的 原因 和 发 生 的 概率 。 该 推理 常用 在 病理 诊断 、 故 障 诊 断 中 ， 目 的 是 找到 疾病 发 生 、 故 障 
发 生 的 原因 。 


6.6.2 贝 叶 斯 网 络 结构 的 设计 


本 节 中 ， 对 使 用 贝 叶 斯 网 络 面向 的 研究 方向 的 定位 是 利用 其 对 不 确定 问题 的 推理 能 
解决 系统 确定 顾客 是 否 会 购买 某 件 服 装 的 问题 。 要 想 确定 顾客 购买 某 件 服 装 的 概率 ， 就 要 充 
分 研究 影响 顾客 购买 服装 的 因素 。 通 过 对 商品 与 人 之 间 关 系 的 分 析 ， 若 不 考虑 价格 问题 ， 可 
以 将 此 影响 因素 分 为 两 类 : 人 对 该 商品 的 主观 感受 [喜好 度 (Fondness) | 和 购买 该 商品 对 
顾客 的 客观 影响 【适合 度 (Suitable) ] 。 这 两 点 构成 了 影响 顾客 购买 趋势 的 两 大 重要 因素 ， 
其 关系 如 图 6-40 所 示 。 
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具体 到 服装 而 言 ， 服 装 外 观 被 概括 为 由 样式 (Style) 与 色彩 (Color) 两 大 部 分 组 成 。 
可 以 认为 ， 正 是 在 这 两 个 元 素 的 相互 作用 下 ， 造 成 了 商品 对 顾客 的 影响 。 因 此 ， 可 将 上 述 关 
系 进 一 步 细 化 到 如 图 641 所 示 ， 从 而 得 到 针对 服装 商品 的 此 关联 的 进一步 扩展 。 





























一 一 服装 元 素 
一 一 购买 因素 
ER 一 一 最 终 决定 
图 6-40 ”影响 顾客 购买 趋势 图 641 针对 服装 商品 的 决定 
的 两 大 重要 因素 因素 之 间 的 关系 
C RIEN ) 
CESSA TE 
EGTA 
TERMS PDE 
WAR 
TE EE ee a ee Tae 
(袖子 长 度 ) 


D 
i a 
aD 衣服 肥瘦 感 顾客 的 胖 瘦 度 










选择 











图 6-42 服装 购买 贝 叶 斯 决策 网 络 的 拓扑 结构 





研究 选 定 以 上 衣 为 例 。 考虑 到 上 家 可 以 划分 为 领口 (Collar) 、 袖 子 (Sleeve), Ek 
(Body) 三 个 部 分 ， 并且 其 中 对 上 衣 样 式 起 主要 决定 作用 的 部 分 为 前 两 者 一 一 领口 与 袖子 ， 
而 对 上 衣 色 彩 起 主要 决定 作用 的 部 分 为 后 者 一 一 主体 ， 因 此 根据 其 作用 不 同 ， 将 其 划分 在 不 
同 的 影响 区 域内 : 顾客 对 服装 样式 的 感受 (Feel of Style) 、 对 色彩 的 感受 (Feel of Color)、 
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服装 样式 对 当前 顾客 的 适合 度 (Suitable of Style) 、 服 装 色彩 对 当前 顾客 的 适合 度 (Suitable 
of Color) 。 考 虑 到 领口 与 袖子 对 服装 的 影响 因素 和 样式 的 特点 ， 分 别 将 其 再 次 细 分 为 领口 样 
式 (Pattern of Collar) 、 领 口 大 小 (Size of Collar) 、 袖 子 样式 (Pattern of Sleeve) 、 袖 子 长 短 
(Length of Sleeve) 。 同 时 ， 色 彩 也 可 以 进一步 分 为 H、S、V。 另 外 ， 对 服装 的 主观 感觉 可 以 
统一 以 “喜欢 ”与 “不 喜欢 ”来 划分 ， 但 作为 适合 程度 却 可 以 从 多 个 方面 来 划分 ， 此 次 研 
究 选取 了 当代 顾客 挑选 服装 时 首先 考虑 的 服装 胖 瘦 方面 视觉 效果 问题 进行 探索 。 而 服装 显得 
宽 、 肥 还 是 窗 、 瘦 较 好 ， 是 否 适 合 当前 顾客 ， 还 与 顾客 自 吴 的 肥瘦 程度 有 关 ， 这 就 需要 再 引 
入 一 个 与 评定 服装 适合 度 有 密切 交互 关系 的 顾客 个 人 信息 节点 一 一 顾客 的 胖 瘦 程度 节点 
( Fatness of Custom) 。 综 合 如 上 所 述 的 所 有 关系 与 考虑 ， 整 个 贝 叶 斯 网 络 的 拓扑 结构 如 图 6- 
42 所 示 。 

当 完 成 网 络 中 节点 的 选取 与 相互 间 位 置 和 关系 的 确定 后 ， 就 要 具体 到 每 个 节点 中 状态 参 
数 的 设计 。 首 先 ， 状 态 参数 的 设计 应 与 相应 节点 的 特性 密 不 可 分 , 不 仅 要 体现 出 节点 的 特 
点 ， 还 要 与 当前 研究 内 容 密切 相关 ; 其 次 ， 要 体现 出 顾客 的 关注 方向 ， 与 此 同时 ， 还 要 兼顾 
数据 的 可 描述 性 与 单一 性 ， 这 样 才 便于 数学 分 析 。 比 如 在 这 里 ， 本 节 将 领口 与 袖子 造型 的 状 
态 参 数 设 定 为 各 自 的 复杂 程度 (Complex/Simple )。 设 计 好 的 ， 包括 节点 各 自 的 状态 参数 的 
贝 叶 斯 决策 网 络 的 拓扑 结构 如 图 6-43 所 示 。 
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K643 ”包括 节点 各 自 的 状态 参数 的 完整 贝 叶 斯 决策 网 络 





230 


6.6.3 ”实验 与 结果 分 析 


本 节 使 用 的 贝 叶 斯 网 络 搭建 工具 是 Netica 1. 12。 这 是 一 个 专门 用 来 进行 贝 叶 斯 置信 和 网络 
的 设计 、 推 算 的 实用 工具 。 此 工具 的 产生 为 贝 叶 斯 网 络 复杂 的 计算 过 程 带 来 了 便利 ， 但 由 于 
工具 软件 的 运算 能 力 有 限 ， 最 多 只 能 允许 拥有 15 个 节点 的 网 络 进行 推算 ， 因 而 通过 取 主 含 
次 的 原则 ， 将 原先 设 定 的 网 络 节点 数 减少 至 14 个 ， 缩 减 过 程 如 下 : 考虑 到 服装 的 膨胀 紧缩 
感 主要 与 色彩 有 关 ， 因 此 去 除了 服装 样式 带 来 的 合适 度 影响 节点 一 一 袖子 肥瘦 感 节点 
( SleeveFatnessFeel ) 、 领 子 肥 瘦 感 闻 点 ( CollarFatnessFeel) 、 样 式 肥 瘦 感 节点 (StyleFatness- 
Feel) ， 将 顾客 的 个 人 信息 节点 融入 到 服装 适合 度 的 评价 中 去 ， 去除 节点 顾客 的 肥瘦 程度 
(FatnessOfCustom) ， 最 后 合并 色彩 肥瘦 感 节 点 (ColorFatnessFeel)、 服 装 肥瘦 感 闻 点 (Fat- 
nessOfClothing) 与 服装 适合 度 节 点 (Suitable) 为 suitable。 最 终 输入 软件 的 服装 购买 贝 叶 斯 
决策 网 络 的 拓扑 结构 如 图 6-44 所 示 。 












































































complex 50.0 
simple 50.0 





















big 
small 



















pure 50.0 
impure 50.0 

















complex 50.0 
simple 50.0 


















































图 644 ”软件 中 服装 购买 中 叶 斯 决策 网 络 的 拓扑 结构 








针对 不 同 的 服装 、 不 同 顾客 的 要 求 与 喜好 ， 可 以 调节 每 个 节点 对 于 自身 所 含 状 态 参 数 的 
概率 值 ， 以 及 与 其 父 节 点 相关 的 条 件 概率 值 。 服 装 样式 与 色彩 的 基本 数值 部 分 是 由 实验 发 起 
者 根据 服装 的 实际 情况 ， 并 征求 实验 者 的 意见 共同 制定 的 ; 喜好 度 部 分 的 具体 数据 根据 顾客 
的 感受 由 顾客 自己 填写 ; 适合 度 部 分 根据 顾客 提供 的 个 人 信息 与 服装 HSV 值 综合 制定 。 从 
15 名 实验 参与 者 中 随机 抽取 ， 本 节 所 示 实 验 演示 步骤 以 其 中 一 名 身高 1. 64m、 体 重 66. 5kg 
(体形 较 胖 ) 的 女 大 学 生 所 选 数据 为 例 。 其 具体 步骤 如 下 所 述 : 











231 


步骤 1: 记录 顾客 在 服装 样式 和 色彩 方面 的 偏好 度 。 所 针对 的 节点 为 : FeelOfCollar , 
FeelOfSleeve, FeelOfStyle, FeelOfColor 


例 ， 偏 好 数值 的 填写 如 图 6-45 所 示 。 
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图 645 顾客 偏好 值 的 确定 
a) FeelOfColor 节点 中 偏好 值 的 填写 实例 b) choosing 节点 中 偏好 值 的 填写 实例 


步 又 2: 根据 服装 实际 样式 与 色彩 HSV 值得 到 的 数据 ， 并 综合 实验 者 的 意见 ， 制 定 服装 
4 


部 分 节点 的 相应 状态 参数 值 。 为 15 名 志愿 者 展示 的 实验 样本 服装 之 一 如 图 6-46a 所 示 ; 
以 SizeOfCollar 为 例 ， 填 写 方式 如 图 6-46b 所 示 。 
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图 646 服装 特征 值 的 设置 
a) 向 实验 者 展示 的 样本 服装 之 一 (黑色) 
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b) 针对 该 服装 SizeOfCollar 节点 状态 参数 值 的 填写 





步 又 3: 分 别 收集 实验 参与 者 的 个 人 信息 (身高 与 体重 值 )， 根 据 标准 身高 体重 比例 公 
式 计算 出 实验 者 的 比例 与 标准 比例 的 比值 ， 以 确定 实验 者 的 胖 瘦 程 度 ， 如 本 例 中 实验 考 : 
(身高 -120) /体重 =0. 662, 与 标准 的 0.75 的 比值 为 0.75/0. 662 =1.133， 可 见 此 实验 者 比 
较 胖 。 根 据 色彩 心理 效应 原理 的 内 容 一 一 色彩 的 明度 对 膨胀 紧缩 感 影响 最 大 ， 其 次 是 纯度 与 
色相 ， 可 以 推论 出 大 致 的 针对 该 实验 者 适合 的 色彩 的 选择 。 如 图 6-47 所 示 。 


步骤 4: 根据 前 三 个 步骤 确定 的 节点 状态 参数 的 概率 与 条 件 概 率 值 ， 编 译 网 络 ， 得 到 根 
据 此 网 络 结构 与 相应 条 件数 据 得 到 的 结论 ， 如 图 6-48 所 示 。 














232 





























H 5 3 sait EE | 
heat pure light LD. GOR SO x AGO oes i 
hot pure gark ZE a ES BA, OOH 

hot rr Batt LS. OR Se. BIA 

hat ITIR clark AD. GBA GO. EO 





图 647 针对 顾客 生理 特点 进行 适合 度 原则 的 设 定 
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图 648 服装 购买 贝 叶 斯 决策 网 络 的 最 终 推断 结果 

















由 输出 结论 可 知 ， 网 络 推算 出 对 于 有 如 步骤 2 中 偏好 的 实验 者 面 对 实验 样本 服装 ， 会 做 
出 以 下 的 评价 与 结论 : 该 实验 者 对 样本 服装 领口 样式 的 喜好 程度 为 55.9% ， 对 袖子 样式 的 
喜好 程度 为 56. 8% ， 对 服装 样式 的 喜好 程度 为 55.7% ， 色 彩 的 喜好 程度 为 53. 6% ， 从 而 对 
服装 整体 的 喜好 程度 为 54. 8% 。 综 合 实验 者 自身 的 特征 条 件 得 到 的 服装 适合 度 为 69.3% , 
推算 出 顾客 购买 此 服装 的 概率 为 60.6% 。 实 验 者 对 此 结果 表示 比较 满意 。 

若 选用 另 一 件 粉 色 服 装 ， 如 图 6-49a 所 示 。 对 于 同一 实验 者 ， 实 验 结果 如 图 6-49b 所 示 。 

根据 该 实验 者 提出 的 条 件 ， 由 贝 叶 斯 网 络 的 推断 结果 可 知 ， 她 对 这 件 服装 的 喜好 程度 预 
计 会 处 于 中 立 一 一 46. 9% ， 另 外 经 网 络 计算 ， 此 服装 的 色彩 并 不 太 适 合 她 (会 使 当前 用 户 
显得 略微 发 胖 ) 一 一 适合 度 只 有 18. 6% 。 因 此 贝 叶 斯 网 络 得 出 的 最 终结 论 是 此 服装 被 选择 
的 可 能 性 只 有 36. 1% 。 该 实验 者 表示 对 此 推论 十 分 满意 。 
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图 6-49 ”针对 同一 用 户 的 贝 叶 斯 网 络 对 另 一 件 服装 的 推断 
a) 向 实验 者 展示 的 样本 服装 之 二 (粉红 色 ) b) 贝 叶 斯 网 络 推断 出 的 结果 




















以 上 只 是 一 个 实例 ， 全 部 展现 给 实验 参与 者 的 服装 共有 20 件 ， 通 过 统计 实验 者 对 推论 
最 终结 果 及 过 程 结果 (“喜好 度 ” 与 “适合 度 ”) 的 评价 见 表 6-10。 以 100 分 为 满分 ， g 
85 分 的 为 满意 ，70 ~ 84 分 为 较 满 意 ，45 ~ 69 分 为 一 般 (中 立 的 态度 在 表 中 没有 收录 ), 4 
分 以 下 为 不 满意 ， 取 15 名 实验 者 对 各 项 推论 满意 的 服装 件数 的 平均 值 。 
表 6-10 ”对 贝 叶 斯 网 络 模型 中 各 项 推论 的 满意 度 调查 























实验 者 评价 对 “喜好 度 ” 对 “适合 度 ” 对 最 终结 果 的 
平均 所 占 比 
共 20 件 服装 ) 的 推论 /件数 的 推论 /件数 推论 /件数 了 
满意 (平均 件数 ) 2.73 11. 87 5 
78. 43% 
较 满 意 (平均 件数 ) 10. 67 6. 26 9. 53 
不 满意 (平均 件数 ) 4.13 0 3.47 12.67% 





























从 参加 实验 的 同学 给 出 的 评价 可 看 出 ， 使 用 此 种 贝 叶 斯 网 络 决策 方法 得 出 的 推论 还 是 比 
较 准 确 的 ， 绝 大 部 分 用 户 都 觉得 很 满意 。 不 过 网 络 的 误差 也 是 不 可 避免 的 ， 由 数据 可 知 ， 不 
满意 的 部 分 主要 出 现在 对 “喜好 度 ” 的 推测 上 ， 从 而 导致 了 最 终结 果 的 推论 不 准 。 为 什么 
在 “适合 度 ” 方 面 要 比 “ 喜 好 度 ” 方 面 准确 很 多 ? 分 析 原 因 ， 主 要 存在 于 两 个 方面 : 首先 ， 
和 村 征 值 方面 的 确定 还 是 比较 模糊 的 ， 什 么 样 算是 “复杂 ”， 什 么 样 算 是 “特别 
复杂 ”， 这 个 界限 较 难 划分 清楚 ， 与 之 相 比 ， 色 及 的 HSV 值 则 是 一 个 通过 色彩 测量 工具 测 出 
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的 比较 确切 的 数值 ; 其 次 ， 顾 客 对 自己 喜欢 服装 样式 的 描述 过 于 抽象 ， 给 出 的 可 描述 的 条 款 
也 太 少 ， 因 而 反映 到 具体 服装 时 ,会 有 一 定 的 差距 ， 虽然 在 贝 叶 斯 网 络 的 模糊 容纳 性 的 作用 
下 有 所 改善 ， 但 还 是 会 出 现 一 些 不 可 避免 的 偏差 .与 之 相 比 ， 色 彩 心理 效应 对 色彩 的 作用 描 
述 本 身 已 经 达到 了 一 定 的 量化 程度 ， 即 使 有 些小 的 偏差 也 在 贝 叶 斯 网 络 的 作用 下 “小 而 化 
无 ”了 。 正 是 这 两 方面 的 原因 ， 造 成 了 在 “适合 度 ” 方 面 与 “喜好 度 ” 方 面 推 凑 准确 性 的 
差距 。 另 外 ， 如 果 软 件 的 计算 功能 更 加 强大 些 ， 就 可 以 引入 更 多 的 节点 ， 细 化 推算 过 程 ， 使 
推算 结果 更 加 准确 满意 。 

总 体 来 说 ， 在 对 顾客 的 选择 推断 方面 ， 此 方法 不 失 为 一 种 比较 有 效 的 决策 方案 。 在 购物 
系统 中 ， 顾 客 只 需 先 提出 对 服装 的 具体 要 求 和 偏好 取向 ， 后 台 就 可 以 分 别 就 不 同 特征 值 的 服 
法 进行 推 第， 最 终 得 到 当前 顾客 可 能 选取 的 服装 推荐 、 呈 现 到 前 全 ,实现 智能 导购 的 功能 。 
特别 是 ， 如 果 数 据 库容 量 人 允许， 还 可 以 从 此 顾客 历次 购买 、 选 择 的 服装 样式 中 自动 筛选 、 记 
录 顾 客 的 偏好 取向 ， 在 新 的 服装 到 来 时 ， 可 以 自动 推断 出 符合 顾客 喜好 的 服饰 。 这 种 使 用 贝 
叶 斯 网 络 进行 推断 的 方案 还 可 以 进一步 应 用 到 其 他 商品 ， 从 而 拓宽 智能 化 层面 。 不 过 遗憾 的 
是 ， 对 这 种 网 络 算法 的 研究 还 只 停留 在 基于 第 三 方 软件 平台 的 理论 实验 上 ， 目 前 还 没有 找到 
将 其 插入 网 站 后 合 的 插件 工具 ,希望 进一步 的 实践 能 够 在 今后 的 研究 中 继续 进行 。 


6.7 满足 个 性 心理 的 服装 选 购 计算 机 系统 

本 节 在 前 面 所 述 的 理论 基础 上 ， 编 制 了 一 个 面向 Internet 的 个 性 化 智能 商品 选 购 网 站 ， 
对 人 工 心理 模型 的 实际 应 用 做 了 一 些 有 益 的 探索 。 
67.1 个 性 化 智能 商品 选 购 系统 的 注册 与 登录 


系统 空间 采用 DREAMWEAVER MX 编制 界面 ， 用 Access XP 建立 基于 上 述 人 工 心理 模型 的 
图 片 库 和 词语 库 。 具 体 工 作 顺序 如 下 : 用 户 进 入 网 站 主页 (http: //aprobot. www33. cnidc. en) 
后 ,图 6-50 所 示 为 系统 首页 ， 可 以 注册 或 登录 进入 服装 选 购 阶段 。 
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图 6-50 ”服装 选 购 系 统 登 录 首 页 
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用 户 如 果 第 一 次 登录 需要 进行 注册 ， 以 便 收集 用 户 的 信息 ， 为 后 来 统计 数据 作 辅 助 分 


析 。 用 户 注 册页 面 如 图 6-51 所 示 。 


注册 完毕 后 ， 系 统 自动 进入 用 户 感 性 信息 收集 界面 ， 对 10 个 训练 样本 进行 评价 来 建立 
预 处 理 心 理 模型 ， 以 便 系统 将 结果 存放 到 数据 库 中 ， 并 调用 程序 进行 处 理 来 建立 用 户 的 个 性 


化 心理 模型 。 用 户 信息 收集 界面 如 图 6-52 所 示 。 





图 6-51 用 户 注 册 网 页 

















图 6-52 ”用户 信息 收集 界面 





用 户 提交 完 信息 后 ， 就 可 以 进入 服装 选 购 网 页 ， 按 照 自己 的 意愿 选择 喜欢 的 服装 。 图 








6-53 所 示 为 客户 选 购 网 页 。 可 供 查寻 的 形容 词 对 为 华丽 的 、 朴 素 的 、 现 代 的 、 过 时 的 、 可 
爱 的 、 讨 厌 的 、 优 雅 的 、 粗 俗 的 、 浪 漫 的 、 采 板 的 、 和 谐 的 、 不 和 谐 的、 正式 的 、 随 意 的 、 





多 变 的 、 单 调 的 、 有 个 性 的 、 无 个 性 的 、 
突出 的 、 平 几 的 等 。 

用 户 在 所 提示 的 形容 词 中 进行 选择 ， 
给 出 选 购 心理 ， 先 根据 数量 化 I 类 理论 自 
动 地 选择 相应 的 B 阵 ， 然 后 通过 循环 与 每 
一 个 服装 图 片 的 特征 矩阵 相 乘 ， 得 到 每 张 
服装 图 片 的 预测 值 Y， 然 后 系统 对 所 有 预 
测 值 了 按照 由 低 到 高 的 顺序 进行 排序 ， 取 
前 四 个 或 后 四 个 作为 初始 参考 群 ， 如 图 6- 
53 所 示 。 在 此 基础 上 ， 用 户 对 系统 提供 
的 图 片 进行 满意 度 评价 ， 按 照 IGA 来 不 断 
修正 检索 结果 ， 直 到 提供 给 用 户 的 图 片 的 
80% ， 都 能 令 客户 非常 满意 为 止 。 以 用 户 
对 “优雅 的 ”要 求 为 例 ， 图 6-54 是 系统 
为 用 户 检 索 出 的 最 终 参 考 图 片 。 





























6-53 ”客户 选 购 网 页 
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图 6-54 系统 为 用 户 检 索 出 的 最 终 参 考 图 片 








为 了 实现 网 站 的 安全 管理 ,编制 了 后 台 程 序 ， 构 套 在 网 站 中 。 它 分 为 两 个 模块 一 个 是 
用 户 管理 程序 ; 另 一 个 是 访问 监控 程序 。 用 户 管理 程序 用 于 网 络 注 册 人 员 的 添加 、 删 除 和 修 
改 资 料 等 操作 。 访 问 监控 程序 ， 主 要 作用 是 包括 开始 统计 日 期 到 结束 统计 日 期 内 的 : 页 面 总 
显示 、 显 示 数 、 来 访 者 、 人 均 访问 页 面 数 、 每 小 时 平均 访问 人 数 、 每 天 平均 访问 人 数 、 日 
均 访 问 页 面 /来 访 者 、 平 均 每 天 来 访 者 、 单 独 页 面 统计 。 图 6-55 为 访问 监控 程序 主 界面 。 








MESTraffic IER version 6.99: 











ay t) 
D 65 OE 


BRE ee SR Ge 











图 6-55 访问 监控 程序 主 界面 
6.7.2 个 性 化 智能 交互 系统 的 实现 
个 性 化 智能 交互 系统 软件 模块 中 ， 预 处 理 模块 是 用 VB6. 0 编写 的 ， 交 互 模块 是 用 Java 
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编写 的 ， 系 统 运行 在 主 频 为 1.8GHz 的 PC 上 ， 并 且 限 定 遗 传 的 代数 最 多 为 10 代 。 使 用 
0. 5% 的 交叉 率 和 0. 05% 的 变异 率 ， 保 留 每 一 代 最 佳 个 体 到 下 一 代 是 一 个 遗传 策略 。 为 了 评 
估 此 系统 的 性 能 ， 分 别 进 行 收敛 测试 和 主观 测试 。 

首先 提出 选 购 要 求 〈 比 如 用 户 需 要 寻找 一 幅 看 起 来 让 人 感到 “和 和谐” 的 服装 图 片 ) ， 然 
后 系统 依据 数量 化 工 类 理论 从 图 片 库 中 选取 6 幅 图 片 作 为 初始 群体 予以 显示 ， 同 时 用 户 对 显 
示 的 每 幅 图 片 进行 满意 度 评价 ， 即 度量 其 与 心理 空间 的 距离 ， 给 出 适应 度 值 ， 这 样 越 满意 的 
图 片 其 分 值 越 高 ， 即 适应 度 值 越 大 ， 反 之 亦 然 ， 同 时 每 幅 图 片 对 应 一 个 46 维 的 特征 向 量 ， 
将 特征 向 量 编码 形成 染色 体 ， 则 用 户 给 图 片 打 的 分 值 也 就 是 染色 体 的 适应 度 值 ; 接着 ， 系 统 
将 根据 适应 度 值 进行 选择 和 交叉 操作 ， 以 产生 新 一 代 群 体 ， 再 通过 相似 性 匹配 ， 即 可 从 图 片 
库 中 搜索 出 候选 图 片 ， 并 予以 显示 ; 最 后 用 户 再 对 显示 的 图 片 给 予 评价 ,不 断 重复 ， 直 至 用 
户 找 到 满意 的 图 片 或 达到 最 大 的 迭代 次 数 为 止 。 

1) 编码 : 具体 的 编码 方式 如 本 章 2、3 小 节 所 述 ， 即 对 每 幅 图 片 的 46 维特 征 ， 按 H、 
S, V 三 个 方面 和 服装 设计 形式 相 绪 合 形成 一 维 向 量 作为 遗传 算法 的 “染色 体 ”。 

2) 选择 : 系统 将 用 户 对 每 幅 图 像 的 评价 作为 适应 度 ， 同 时 运用 适应 度 比例 方法 来 对 与 
显示 的 6 幅 图 片 对 应 的 染色 体 进行 选择 。 并 得 到 6 条 子 染 色 体 。 

3) 交叉 或 变异 : 通过 对 这 6 条 子 染 色 体 进行 两 两 HSV 颜色 交叉 和 服装 设计 的 水 平 或 垂 
直 交 义 ， 便 产生 新 的 染色 体 。 

4) 相似 性 匹配 : 通过 上 述 进 化 操作 ， 产 生 6 个 新 染色 体 ， 因 为 其 在 图 片 库 中 未 必 有 完 
全 一 致 的 对 应 项 ， 所 以 应 将 图 片 库 中 的 每 一 幅 图 片 与 其 进行 比较 ， 计 算 它 们 的 相似 度 ， 再 取 
出 其 中 相似 度 最 小 的 6 幅 图 像 作为 新 的 群体 ， 显 示 给 用 户 ， 供 用 户 作 进一步 分 析 判 断 。 

图 6-56 显示 了 在 搜索 “ 令 人 感到 优雅 的 ”图 片 中 ， 通 过 相应 的 样式 染色 体 改变 而 实现 
的 个 性 评估 过 程 。 图 a 中 的 领口 设计 样式 与 图 b 中 的 领口 设计 样式 通过 交 又 和 变异 ， 得 到 图 
c， 根 据 用 户 对 这 三 幅 图 片 的 满意 度 打 分 ， 可 以 看 出 图 c 比 图 a、 图 b 更 会 令 用 户 感到 “ 优 
雅 ”满意 的 一 代 。 
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a) 


图 6-56 ”服装 样式 染色 体 的 交叉 效果 
a) “ 令 人 感到 优雅 的 ”用 户 满意 度 为 50% 
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c) 


图 6-56 服装 样式 染色 体 的 交叉 效果 ( 续 ) 
b)“ 令 人 感到 优雅 的 ”用 户 满意 度 为 75% 
c)“ 令 人 感到 优雅 的 ”图 。 (图 a 与 图 b 的 交叉 后 代 ) ， 用 户 满意 度 为 100% 











Alc 是 图 a 和 图 b 的 交叉 与 变异 后 代 ， 根 据 该 用 户 对 图 片 的 评估 ,说明 第 三 代 比 前 两 代 
更 能 体现 该 用 户 对 “优雅 ”的 感性 认识 。 

图 6-57 显示 了 颜色 染色 体 的 变异 使 服装 的 变化 给 用 户 带 来 的 心理 差异 。 对 30 名 用 户 进 
行 调查 ，95% 的 用 户 认为 图 a “HER, RE, RRE”, ANK b “HERK, ERR, 
硬 气 的 ”。 

让 50 位 用 户 使 用 本 系统 ， 来 进行 感性 化 图 像 检 索 ， 即 分 别 检索 “和 谐 的 ”"、“ 性 感 的 ”、 
“正统 的 ”"、“ 典 雅 的 ” “浪漫 的 ”, “幼稚 的 ”等 图 片 ， 然 后 判别 是 否 满足 用 户 感性 要 求 。 
当 所 显示 的 图 片 (6 幅 ) 中 有 4 ~6 幅 满足 用 户 的 要 求 时 ， 系 统 即 认为 用 户 对 结果 满意 ， 有 
3 幅 满足 要 求 时 为 一 般 ， 少 于 3 幅 时 为 不 满意 。 表 6-11 所 示 为 实验 结果 (对 各 图 像 满意 、 
一 般 、 不 满意 的 用 户 数 ) 。 由 表 6-11 可 以 看 出 ， 大 部 分 用 户 满意 检索 的 结果 ， 不 满意 的 只 有 
少数 。 
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000001 00000011 10 00000011 1011| 10000000 0100 | 00000011 
a) 
000001 00000000 | 0 00000000 1011} 10000000 0100 | 00000000 
b) 
图 6-57 颜色 染色 体 的 变异 效果 
表 6-11 个 性 化 的 智能 选 购 结果 表 (单位 : 个 ) 
项 目 和 谐 的 性 感 的 正统 的 典雅 的 浪漫 的 幼稚 的 

满意 者 40 32 36 39 36 30 
一 般 者 8 14 8 7 9 10 
不 满意 者 2 4 6 4 5 10 








6.7.3 ”私人 着 装 咨询 服务 


这 项 服务 是 考虑 到 人 性 化 、 个 性 化 系统 的 发 展 趋势 及 最 初 的 系统 总 体 构想 而 新 添加 的 一 
项 应 用 ， 并 且 配 合并 实现 了 色彩 心理 效应 模型 的 应 用 。 如 图 6-58a 所 示 ， 在 首页 中 选择 了 此 
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项 服务 后 ， 将 进入 顾客 资料 收集 界面 ， 如 6-58b 所 示 。 在 这 里 ， 系 统 将 收集 顾客 的 生理 特征 
数值 及 特殊 需求 。 








a s i. 


图 6-58 私人 着 装 咨询 服务 与 顾客 咨询 资料 收集 界面 
a) 私人 着 装 咨 询 服务 区 b) 用 户 资料 收集 界面 



































顾客 填写 好 个 人 特征 数值 及 特殊 需求 后 ， 系 统 将 根据 上 交 的 数据 进行 计算 、 处 理 ， 得 到 
用 户 身材 的 特征 定位 (如 “ 较 胖 ”、“ 较 瘦 ”， 或 是 “比较 标准 ”) 和 库 中 相应 服装 对 该 顾客 
的 适合 程度 。 用 户 可 以 在 得 知 自己 的 身材 特征 定位 后 选择 接受 或 是 不 接收 系统 推荐 ， 如 图 
6-59 所 示 。 
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图 6-59 ”个 人 特征 定位 和 服装 适合 度 的 计算 
a) 系统 推算 出 个 人 特征 定位 b) 数据 库 中 出 现 服装 对 顾客 的 适合 度 值 











若 选 择 接受 推荐 ， 则 系统 将 符合 推荐 条 件 的 服装 展现 给 顾客 ,顾客 可 以 从 中 选择 ， 也 可 
不 接受 推荐 而 回 到 “个 性 化 用 户 界面 ”选择 服装 。 以 一 个 身高 160cm、 体 重 70kg 的 较 胖 的 
女性 用 户 为 例 ， 个 性 化 咨询 服务 子 系统 通过 后 台 智 能 算法 的 推算 ， 为 顾客 圈定 了 推荐 服装 的 
范围 ， 最 终 展 示 在 “私人 着 装 指导 建议 界面 ”中 ， 如 图 6-60 所 示 。 
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6.7.4 虚拟 试 衣 间 服 务 的 搭建 


一 部 分 ， 也 是 本 系统 添加 的 另 一 项 拓展 应 用 即 虚 拟 试 衣 问 系统 。 这 个 功能 使 用 虚 
拟 现 实 建 模 语 言 ( Virtual Reality © ee ; 
Modeling Language, VRML) 和 相应 , 
的 浏览 器 插件 来 完成 ， 实 现 了 浏览 
中 的 三 维 服装 的 简单 变换 。 

VRML 的 访问 方式 是 基于 客户 / 
服务 器 模式 ， 其 中 服务 器 提供 VRML 
文件 (扩展 名 为 WRL) 及 支持 资 
源 ， 客 户 通 过 网 络 下 载 希望 访问 的 文 
件 ， 并 通过 本 地 平台 上 的 VRML 浏览 
ft (Browser) 交互 式 访问 该 文件 撒 
述 的 虚拟 境界 (Virtual World), FW 
浏览 器 是 本 地 平台 提供 的 ， 从 而 实现 “ 
了 和 硬件 平台 的 无 关 性 。 图 6-60 私人 着 咨询 服务 推荐 结果 界面 

VRML 文件 描述 的 基于 时 间 的 三 维 空间 称 为 虚拟 境界 。 它 由 对 象 构成 ， 而 对 象 及 其 属性 
用 节点 描述 ， 节 点 是 VRML 的 基本 单元 。 每 个 节点 由 类 型 、 域 、 事 件 、 实 现 、 名 字 组 成 ， 
节点 按 一 定 规则 构成 场景 图 (Scene Graph) ， 场 景 图 中 分 为 两 类 节点 : 第 一 类 节点 用 于 视 
觉 、 听 觉 角 度 表现 对 象 ， 它 们 按 层次 体系 组 织 ， 反 映 境界 的 空间 结构 ， 提 供 颜色 、 灯 光 、 超 
链接 、 材 质 、 化 身 、 重 力 、 碰 撞 、 地 形 跟踪 、 飞 行 等 功能 ， 支 持 局 部 坐标 系 ; 第 二 类 节点 参 
与 事件 产生 和 路 由 机 制 ， 形 成 路 由 图 ， 确 定 境界 随时 间 推 移 如 何 动态 变化 。 

1. 虚拟 模特 的 构建 

首先 ， 在 虚拟 试 衣 间 中 需要 有 一 个 三 维 的 人 体 模 特 作 为 试 衣 工具 ， 这 样 才 能 完成 基本 的 
试 衣 功 能 。VRML 中 ， 三 维 物体 是 由 基本 的 三 维 空间 数字 点 阵 组 成 的 ， 多 个 不 同 空间 位 置 的 
点 构成 了 一 个 实体 ， 如 模特 的 右 眼 的 定义 : 

DEF rightEye: 1 Shape 

| 
























































appearance Appearance | material Material | | | 
geometry IndexedFaceSet 


| 
coord Coordinate 
| 

point 

[ 
—0. 020849 0. 701186 0. 030927 
—0. 020781 0. 701186 0. 031017 
—0. 020771 0. 703101 0. 030928 
—0. 020699 0. 703028 0. 031017 
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— 0. 00671 0. 702398 0. 031065 
— 0. 006642 0. 70241 0. 031 


由 于 现今 计算 机 软件 在 这 方面 技术 支持 的 缺乏 ,使 得 虚拟 现实 的 制作 不 得 不 面 对 枯燥 的 
VRML 编写 ， 要 把 那些 数字 和 三 维 空间 的 模型 联系 起 来 是 一 件 很 困难 ， 并 且 费 时 的 事 。 因 
此 ， 由 于 课题 时 间 有 限 ， 本 节 使 用 了 网 上 发 布 的 免费 VRML 人 体 模型 来 完成 试 衣 工 具 
人 体 模 特 的 构建 。 

2. 简单 服装 的 构建 及 色彩 变换 功能 的 实现 

简单 服装 的 构建 及 色彩 变换 功能 的 实现 是 本 节 在 虚拟 试 衣 功 能 搭建 中 重点 完成 的 工作 。 
首先 是 一 套 最 简单 、 基 本 的 服装 构建 。 本 节 在 人 体 模 特 各 部 分 已 有 点 阵 定义 的 基础 上 作 了 简 
单 变 化 ， 形 成 了 一 套 没有 太 多 样式 ， 但 具备 服装 基本 要 素 的 衣服 ， 包 括 上 衣 主 体 、 领 口 、 袖 
子 和 裤子 等 。 构 建 方式 与 人 体 模 型 的 基本 语法 结构 相同 ， 只 是 各 点 阵 的 空间 位 置 有 所 出 入 ， 
这 里 就 不 再 获 述 。 重 点 实现 的 服装 色彩 变换 功能 就 是 针对 这 套 服装 所 做 的 实验 。 

VRML 中 ， 根 据 环境 变化 、 用 户 交 互 、 时 间 推 移 产 生 事 件 ， 传 感 带 (Sensor) 检测 并 触 
发 初始 事件 ， 实 践 产生 其 他 事件 或 修改 场景 图 结构 ， 从 而 提供 动态 特性 。 对 于 复杂 行为 处 
理 ， 则 须 利 用 脚本 节点 (Script Node) ， 它 包含 一 组 由 脚本 描述 语言 编写 的 函数 ， 脚 本 节点 
收 到 事件 后 ， 将 执行 相应 的 函数 ， 该 函数 可 以 通过 常规 的 事件 路 由 机 制 发 送 事件 或 直接 向 脚 
本 节点 指定 节点 发 送 事 件 ， 脚 本 也 能 动态 增 、 删 路 由 。 

这 里 以 将 上 装 变 为 红色 的 事件 为 例 ， 描 述 此 功能 实现 的 编程 过 程 。 

首先 ， 定 义 虚 拟 试 衣 间 中 触发 实现 该 事件 的 按钮 : 

DEF onoffl Transform | 

translation 0 -0.15 0 

scale 0. 03 0. 03 0. 03 

children [ 

Shape | 
appearance Appearance | 
material Material | diffuseColor 1 0 O } 



































| 
geometry Sphere |} 
| 
DEF TS1 TouchSensor |} 
| 
其 次 ,定义 色彩 转换 (变换 为 红色 ) 事 件 的 脚本 : 
DEF redColor Script | 


eventIn SFTime time 


field SFColor red 0.8 0.2 0. 2 


eventOut SFColor color 
url "javascript; 
function time() | 
color = red 
r 
| 





最 后 ， 将 触发 按钮 、 事 件 和 事件 引发 变化 的 相应 作用 域 联 系 起 来 : 


#redColor Cloth 
ROUTE TS1. touchTime TO 


redColor. time 


ROUTE redColor. color TO ChestMaterila. diffuseColor 

ROUTE redColor. color TO Left CollarMaterial. diffuseColor 
ROUTE redColor. color TO Right _ CollarMaterial. diffuseColor 
ROUTE redColor. color TO Right _ ShoulderMaterial. diffuseColor 
ROUTE redColor. color TO Left _ ShoulderMaterial. diffuseColor 
ROUTE redColor. color TO Right _ ShoulderMaterial. diffuseColor 
ROUTE redColor. color TO AbdomenMaterial. diffuseColor 








以 上 便 是 虚拟 试 衣 间 中 服装 色彩 变换 的 一 项 子 功 能 的 实现 过 程 。 系 统 总 共 提 供 了 三 种 色 
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彩 的 选择 ， 并 且 支 持 用 户 选 择 上 装 还 是 下 闭 变 换 的 交互 操作 。 观 看 几 种 服装 的 颜色 的 具体 效 





























果 ， 点 击 底下 的 小 球 按钮 ， 即 可 实现 。 具 体 的 范例 图 片 如 图 6-61 、 图 6-62 Pras. 


虚拟 试 衣 间 的 搭建 使 用 虚拟 现实 技术 中 广泛 应 用 的 虚拟 现实 建 模 语言 (VRML) 。 


图 6-61 系统 功能 3 


a) 虚拟 试 衣 间 服务 


zA me 


BAR DARE 











区 b) 虚拟 试 衣 间 默 认 界 面 





虚拟 试 衣 间 


c) 试 衣 间 内 模特 的 自由 旋转 
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a) 
图 6-62 可 以 任意 改变 上 衣 和 裤子 的 颜色 


a) 改变 模特 上 衣 颜 色 











b) 改变 模特 裤子 颜 


名 








面向 Internet 的 人 性 化 、 个 性 化 的 智能 服装 选 购 空 间 的 建立 ， 是 人 工 心理 理论 的 一 个 很 
好 的 应 用 。 它 能 够 让 在 线 购 物 的 人 们 了 解 自 己 和 别人 的 审美 倾向 ， 并 有 助 于 从 庞大 的 服装 库 
中 尽快 选 出 自己 满意 的 商品 ， 但 这 些 还 是 初步 的 ， 需 要 继续 研究 。 
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第 7 童 数字 虚拟 人 技术 


数字 人 技术 包括 机 器 人 技术 (以 自动 化 为 基础 ) 和 虚拟 人 技术 (以 计算 机 /电子 信息 为 
基础 ) ， 是 传统 意义 上 的 机 器 人 技术 的 延伸 扩展 。 其 研究 内 容 偏重 于 数字 人 领域 的 人 工 心理 
数字 化 技术 、 智 能 信息 处 理 技术 (尤其 是 情感 信息 处 理 技 术 ) 、 虚 拟 现实 技术 、 图 像 处 理 技 
术 、 多 目标 控制 方法 以 及 信息 集成 技术 。 

这 里 ， 主 要 介绍 虚拟 数字 人 技术 。 

《国家 中 长 期 科学 和 技术 发 展 规划 纲要 (2006 一 2020 年 )》 (以 下 简称 《纲要 》) 中 指 
出 : 作为 前 沿 技术 的 信息 技术 主要 研究 方向 如 下 : 信息 技术 将 继续 向 高 性 能 、 低 成 本 、 普 适 
计算 和 智能 化 等 主要 方向 发 展 ， 寻 求 新 的 计算 与 处 理 方式 和 物理 实现 是 未 来 信息 技术 领域 面 
临 的 重大 挑战 。 纳 米 技术 、 生 物 科学 与 认 知 科学 等 多 学 科 的 交叉 融合 ， 将 促进 基于 生物 特征 
的 、 以 图 像 和 自然 语言 理解 为 基础 的 “以 人 为 中 心 ”的 信息 技术 发 展 ， 推 动 多 领域 的 创新 。 
重点 研究 低 成 本 的 自 组 织 网 络 、 个 性 化 的 智能 机 器 人 和 人 机 交互 系统 、 高 柔性 免 受 攻击 的 数 
据 网 络 和 先进 的 信息 安全 系统 。 在 《纲要 》 中 还 指出 ， 作 为 面向 国家 重大 战略 需求 的 基础 
研究 之 (10) 支撑 信息 技术 发 展 的 科学 基础 方向 : 重点 研究 新 算法 与 软件 基础 理论 ， 虚 拟 
计算 环境 的 机 理 ， 海量 信息 处 理 及 知识 挖掘 的 理论 与 方法 ， 人 机 交互 理论 ， 网 络 安全 与 可 信 
可 控 的 信息 安全 理论 等 。 

从 以 上 可 以 看 出 ， 人 机 交互 系统 与 人 机 交互 理论 ， 将 是 在 信息 科学 领域 未 来 十 五 年 国家 
倡导 的 一 个 重要 的 研究 方向 与 研究 内 容 。“ 以 人 为 中 心 ”的 信息 技术 发 展 ， 要 求 计算 机 更 加 
智能 化 和 人 性 化 。 要 求 研 究 和 谐 人 机 交互 技术 。 虚 拟 数字 人 技术 作为 人 机 交互 技术 的 内 容 之 
， 它 能 够 以 虚拟 教师 、 虚 拟 解说 员 、 虚 拟 服 务 员 等 多 种 形式 被 广泛 应 用 于 数字 化 教学 系 
统 、 奥 运 会 志愿 者 、 导 购 系统 、 人 性 化 触摸 屏 等 许多 场合 ， 所 以 对 虚拟 数字 人 技术 的 研究 具 
有 重要 的 理论 意义 和 使 用 价值 。 


7.1 虚拟 人 技术 


“数字 化 虚拟 人 ”是 20 世纪 后 期 的 新 兴 前 沿 学 科 ， 在 医学 、 航 天 、 航 空 、 建 筑 、 机 电 
制造 、 影 视 制作 等 领域 有 广泛 应 用 价值 。 它 是 “虚拟 可 视 人 ”、“ 虚 拟 物理 人 ”和 “虚拟 生 
物 人 ”的 统称 ， 其 原理 是 通过 先进 的 信息 技术 与 生物 技术 相 结合 的 方式 ， 在 计算 机 上 操作 
可 视 的 模型 ， 包 括 人 体 的 各 器 官 和 细胞 等 ， 最 终 建成 生物 网 络 化 的 流程 。 而 本 章 讨论 的 虚拟 
人 技术 是 针对 另 一 种 意义 上 的 虚拟 人 《〈 虚 的 人 或 计算 机 综合 特性 ) 而 言 ， 它 是 人 在 计算 机 
生成 空间 (虚拟 环境 ) 中 的 几何 特性 与 行为 特性 的 表示 ， 是 多 功能 感知 与 情感 计算 的 研究 
内 容 。 它 可 以 广泛 应 用 于 人 机 交互 、 运 动 表示 、 人 机 功效 、 视 频 压 缩 、 游 戏 娱乐 、 军 事 训 
练 、 数 字 图 书馆 等 领域 。 

准确 地 说 ， 虚 拟人 具有 如 下 特点 : 

1) 有 自身 的 几何 模型 ， 在 计算 机 生成 的 空间 与 时 间 内 ， 有 自己 的 几何 与 时 间 特 性 。 三 
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维 虚拟 人 是 指 其 自身 模型 及 其 所 在 的 空间 均 为 三 维 的 ; 

2) 可 以 与 周围 的 环境 交互 感知 并 影响 周围 环境 ; 

3) 虚拟 人 的 行为 可 以 由 计算 机 程序 控制 ， 这 种 虚拟 人 被 称 做 智能 体 (代理 )， 即 信息 
世界 中 的 软件 机 顺 人 ， 它 是 狭义 智能 代理 中 的 一 种 。 虚 拟人 的 行为 也 可 以 由 真实 人 控制 ， 此 
时 虚拟 人 被 称 为 真实 人 的 化 身 (化 号 ) 。 但 不 论 何 种 情况 ， 其 行为 都 必须 表现 出 与 真实 人 一 
致 的 特征 ; 

4) 虚拟 人 之 间或 虚拟 人 与 真实 人 之 间 可 以 通过 自然 的 方式 交流 。 例 如 ， 可 以 通过 自然 
语言 或 人 体 语言 (手势 ) 进行 交互 作用 。 

虚拟 人 合成 主要 研究 人 在 计算 机 生成 空间 中 的 几何 特性 与 行为 特性 的 逼真 表示 。 合 成 虚 
拟人 可 以 是 特定 真实 人 体 在 计算 机 生成 空间 中 的 数字 化 表示 ， 此 时 的 虚拟 人 有 着 特定 真实 人 
的 逼真 几何 特性 ， 且 其 行为 主要 由 真实 人 控制 。 这 种 虚拟 人 称 为 真实 人 在 计算 机 生成 空间 中 
的 化 身 (化 身 ) 。 这 种 合成 虚拟 人 主要 应 用 于 远程 会 议 、 分 布 式 虚拟 环境 等 应 用 中 ; 合成 虚 
拟人 还 可 以 是 完全 虚构 的 人 体 ， 其 几何 特性 可 以 是 人 类 几何 特性 某 种 共性 的 抽象 ， 或 者 完全 
是 一 种 艺术 创作 。 这 种 虚拟 人 的 行为 一 般 由 计算 机 智能 程序 控制 ， 且 在 某 种 程度 上 表现 出 与 
人 类 行为 的 相似 ， 是 一 种 智能 体 ( 代理) 。 实 际 应 用 中 ， 合 成 虚拟 人 还 可 以 是 两 者 在 某 种 程 
度 上 的 组 合 ， 例 如 几何 特性 是 某 个 特定 真实 人 的 虚拟 化 ， 其 行为 则 可 以 由 计算 机 程序 控制 。 

虚拟 人 合成 技术 为 人 在 数字 化 空间 中 的 生存 提供 了 新 的 表现 形式 和 交互 手段 。 以 合成 虚 
拟人 为 界面 的 计算 机 系统 将 不 仅 具 有 语音 交互 能 力 ， 而 且 将 具有 多 模式 行为 交互 能 力 ， 例 如 
手语 交互 、 人 脸 表 情 交 互 等 ， 这 将 为 建立 计算 机 系统 人 性 化 的 人 机 界面 、 实 现 和 谐 的 人 机 交 
互 ， 提 供 重要 的 理论 与 技术 基础 。 

本 方 介绍 一 个 具有 情感 的 虚拟 人 交互 系统 。 首 先 对 和 谐 人 机 交互 系统 、 人 工 心 理 理论 和 
虚拟 人 相关 技术 及 发 展 状况 做 一 个 简要 的 介绍 ; 对 主要 的 三 维 人 脸 建 模 和 表情 合成 技术 进行 
TROR; 应 用 心理 学 领域 的 五 要 素 模型 (FFM) 对 情感 虚拟 人 进行 个 性 化 建 模 ， 并 引入 了 
贝 叶 斯 信念 网 络 (BBN) 来 构建 一 种 可 信 的 心理 模型 。 最 后 ， 介 绍 了 情感 虚拟 人 系统 的 构 
成 部 分 及 实现 过 程 : 通过 OpenGL 库 建立 虚拟 人 的 脸 部 三 维 造型 一 一 包含 75 个 节点 的 Can- 
dide 人 脸 模 型 ， 根 据 选 择 的 二 维 (2D) 人 脸 图 像 ， 通 过 控制 AU (Action Unit， 动 作 单 元 ) 
及 其 所 对 应 的 人 脸 动 画 参数 (FAP) 来 计算 每 个 节点 运动 的 范围 ， 从 而 控制 人 脸 模型 的 面部 
表情 ， 达 到 参数 化 控制 的 目的 ， 进 而 可 以 精确 合成 多 种 表情 ; 构建 系统 中 的 情感 模型 一 一 我 
们 设计 了 一 个 对 话 场景 ， 实 现 了 情感 转移 概率 矩阵 和 某 种 心情 状态 下 不 同 表情 输出 概率 向 量 
的 参数 估计 ， 即 以 情绪 粹 为 约束 条 件 之 一 ， 构 造 了 情感 模型 的 初始 状态 转移 矩阵 ， 为 虚拟 人 
性 格 形 成 提供 了 一 种 定量 的 计算 方法 ; 最 后 ， 对 情感 模型 测试 结果 的 分 析 表 明 ， 由 这 个 模型 
模拟 的 情感 反应 是 符合 人 类 情感 行为 规律 的 。 利 用 FFM 和 BBN 算法 进行 情感 建 模 为 情感 虚 
拟人 系统 提供 了 一 种 理论 设计 方法 。 

人 机 交互 (Human Computer Interaction, HCI) 是 研究 人 、 计 算 机 以 及 它们 之 间 相 互 影 
响 的 技术 , 是 21 世纪 的 重要 信息 技术 。 广 义 的 人 机 交互 是 人 机 工程 学 、 人 类 工效 学 等 学 科 
的 研究 内 容 ; 狭义 的 人 机 交互 是 指 人 与 计算 机 的 交互 。 如 图 7-1 所 示 ， 人 机 交互 涉及 多 学 科 
领域 。 应 该 说 ， 自 从 计算 机 诞生 之 日 起 人 们 就 开始 注意 人 机 交互 的 问题 ， 但 真正 引起 人 们 广 
泛 的 研究 兴趣 并 获得 重大 发 展 是 20 世纪 80 年 代 以 来 的 事情 。90 年 代 末 ， 国 内 外 对 人 机 交 
互 技术 的 研究 方兴未艾 。 近 年 来 ， 包 括 Microsoft 公司 、IBM 公司 、MIT ( 麻 省 理工 学 院 )、 
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NSF (美国 国家 科学 基金 会 ) Cambridge Univ (剑桥 大 学 ) Oxford (牛津 大 学 ) Birming- 
ham (伯明翰 大 学 ) Tokyo Univ. (东京 大 学 ) 日 本 国家 工业 研究 院 等 著名 公司 、 院 校 和 研 
究 院 所 都 成 立 了 人 机 交互 的 专门 课题 组 。 

人 机 交互 技术 是 当前 信息 产业 竞争 的 一 个 焦 
点 ， 世 界 各 国都 将 人 机 交互 技术 作为 重点 研究 的 
一 项 关键 技术 。 美 国 总 统 信息 技术 顾问 委员 会 的 
《21 世纪 的 信息 技术 报告 》 中 ,将 “人 机 交互 和 
信息 管理 ” 列 为 新 世纪 四 项 重点 发 展 的 信息 技术 
(还 包括 软件 、 可 伸缩 信息 基础 设施 、 高 端 计算 ) 
之 一 ， 它 的 目标 是 研制 “能 听 、 能 说 、 能 理解 人 
类 语言 的 计算 机 ”， 并 指出 “现在 美国 40% 以 上 的 
家 庭 拥 有 计算 机 ”。 最 理想 的 是 ， 人 们 可 以 和 计算 
机 交谈 ， 而 不 像 现在 这 样 仅 限于 窗口 、 图 标 、 鼠 
标 、 指 针 、 界 面 ”。 微 软 中 国 〈 后 改 为 亚洲 ) 研究 
院 从 成 立 开 始 ， 就 将 新 一 代 人 机 交互 技术 作为 其 
主要 研究 方向 。 美 国 计 算 机 协会 (ACM) 图 灵 奖 
1992 年 获得 者 、 微 软 研究 院 软件 总 工程 师 Butler- 
Lampson 在 题 为 “21 世纪 的 计算 研究 ”报告 中 指 图 7-1 人 机 交互 与 其 他 相 邻 学 科 的 关系 
出 :“ 计 算 机 有 三 个 作用 : 第 一 是 模拟 ; 第 二 是 计算 机 可 以 帮助 人 们 进行 通信 ; 第 三 个 是 互 
动 ， 也 就 是 与 实际 世界 的 交流 ”; “人 们 希望 计算 机 能 够 看 、 听 、 讲 ,其 至 比 人 做 得 更 好 ， 
并 能 够 进行 实时 处 理 ”。 今后 ， 许 多 计算 装置 也 会 变 得 就 像 Xerox 公司 男 一 位 专家 Don Nor- 
man 描述 的 那样 ， 变 成 了 不 可 见 的 计算 机 ， 计 算 也 会 变 成 无 处 不 在 ,不 可 见 的 人 机 交互 也 会 
无 处 不 在 。 就 像 我 们 时 刻 呼吸 着 氧气 一 样 ， 我 们 看 不 见 却 可 以 体验 到 。 这 也 就 是 所 谓 的 无 处 
不 在 的 计算 (Ubiquitous Computing) 。 

1. 和 谐 人 机 交互 的 发 展 回 顾 

1) 人 机 交互 的 发 展 历 史 ， 是 从 人 适应 计算 机 到 计算 机 不 断 地 适应 人 的 发 展 史 。 它 经 历 
SILT STE: 

中 早期 的 手工 作业 阶段 : 当时 交互 的 特点 是 由 设计 者 本 人 (或 本 部 门 同事 ) 来 使 用 计 
算 机 ， 他 们 采用 手工 操作 和 依赖 机 器 〈 二 进 制 机 器 代码 ) 的 方法 去 适应 现在 看 来 是 十 分 第 
拙 的 计算 机 ; 

@) 作 业 控 制 语言 及 交互 命令 语言 阶段 : 这 一 阶段 的 特点 是 计算 机 的 主要 使 用 者 一 一 程序 
员 可 采用 批 处 理 作 业 语 言 或 交互 命令 语言 的 方式 和 计算 机 打交道 ， 虽 然 要 记忆 许多 命令 和 熟 
练 地 敲 键盘 ， 但 已 可 用 较 方便 的 手段 来 调试 程序 、 了 解 计 算 机 执行 情况 ; 

(3) 图 形 用 户 界面 (GUL) 阶段 : GUI 的 主要 特点 是 桌面 隐喻 、WIMP (Windows, Icon, 
Menu, Pointing Device, 窗口 、 图 标 、 荣 单 、 指点 设备 ) 技术 、 直 接 操 纵 和 “所 见 即 所 得 
(WYSIWYG)”。 由 于 GUI 简明 易学 、 减 少 了 敲 键 盘 、 实 现 了 “事实 上 的 标准 化 ”， 因 而 使 
不 懂 计 算 机 的 普通 用 户 也 可 以 熟练 地 使 用 ， 开 拓 了 用 户 人 群 。 它 的 出 现 使 信息 产业 得 到 空前 
的 发 展 ; 

网络 用 户 界面 的 出 现 ， 以 超 文 本 标记 语言 (HTML) 及 超 文本 传输 协议 (HTTP) 为 
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主要 基础 的 网 络 浏览 器 是 网 络 用 户 界 面 的 代表 ， 由 它 形 成 的 WWW 网 已 经 成 为 当今 Internet 
的 支柱 。 这 类 人 机 交互 技术 的 特点 是 发 展 快 ， 新 的 技术 不 断 出 现 ， 如 搜索 引擎 、 网 络 加 速 、 
多 媒体 动画 、 聊 天 工具 等 ; 

@ 多 通道 、 多 媒体 的 智能 人 机 交互 阶段 : 以 虚拟 现实 为 代表 的 计算 机 系统 的 拟人 化 和 以 
手持 电脑 、 智 能 手机 为 代表 的 计算 机 的 微型 化 、 随 身 化 、 和 骨 入 化 ， 是 当前 计算 机 的 两 个 重要 
的 发 展 趋势 ， 而 以 鼠标 和 键盘 为 代表 的 GUI 技术 是 影响 它们 发 展 的 瓶 开 。 利 用 人 的 多 种 感 
觉 通 道 和 动作 通道 〈 如 语音 、 手 写 、 姿 势 、 视 线 、 表 情 等 输入 ) ， 以 并 行 、 非 精确 的 方式 与 
(可 见 或 不 可 见 的 ) 计算 机 环境 进行 交互 ， 可 以 提高 人 机 交互 的 自然 性 和 高 效 性 。 

2) 在 人 机 交互 的 发 展 中 ， 一 大 批 专家 为 此 做 出 了 卓越 的 贡献 。 下 面 是 最 有 影响 的 一 些 
事件 和 成 果 : 

(D1945 F, 美国 罗 斯 福 总 统 的 科学 顾问 Bush (1894 ~ 1974 F) 在 《大 西洋 月 刊 》 上 发 
表 的 “Aswemaythink” 的 著名 论文 ， 提 出 了 应 采用 设备 或 技术 来 帮助 科学 家 检索 、 记 录 、 分 
析 及 传输 各 种 信息 的 新 思路 和 名 为 “Memex” 的 一 种 工作 站 构想 ， 影 响 着 一 大 批 最 著名 的 计 
算 机 科学 家 ; 

21963 年， 美国 麻 省 理工 学 院 Sutherland 开创 了 计算 机 图 形 学 的 新 领域 ， 并 获 1988 年 
ACM 图 灵 奖 。 他 还 在 1968 年 开发 了 头盔 式 立 体 显示 器 ， 成 为 现代 虚拟 现实 技术 的 重要 基 
础 ; 

@1963 年 ， 美 国 斯 坦 福 研究 所 的 Engelbart 发 明了 鼠标 嚣 ， 他 预言 鼠标 器 比 其 他 输入 设 
备 都 好 ， 并 在 超 文本 系统 、 导 航 工具 方面 取得 了 杰出 的 成 果 一 一 强化 人 类 智能 工程 (Aug- 
mented Human Intellect Project) ， 获 1997 年 ACM 图 灵 奖 。10 年 后 ， 鼠 标 需 经 过 不 断 地 改进 ， 
成 为 影响 当代 计算 机 使 用 的 最 重要 成 果 ; 

@@20 世纪 70 年代， 当时 在 Xerox 研究 中 心 的 Alan Kay 提出 了 Smalltalk 面向 对 象 的 程序 
设计 等 思想 ， 并 发 明了 重 锥 式 多 窗口 系统 ， 后 经 革 果 、 微 软 、 麻 省 理工 学 院 等 单位 的 不 断 研 
究 和 开发 ， 形 成 了 目前 广泛 使 用 的 图 形 用 户 界 面 的 标准 范式 ，; 

©1989 年 ，Tim Berners Lee 在 日 内 瓦 的 欧洲 核子 物理 研究 所 (CERN) 用 HTML 及 HT- 
TP 开发 了 WWW 网 ， 随 后 出 现 了 各 种 浏览 器 (网 络 用户 界 面 ) ， 使 互联 网 飞速 发 展 起 来 ; 

©20 世纪 90 年代， 美国 麻 省 理工 学 院 Negroponte (他 早 在 30 年 前 就 提出 了 “交谈 式 计 
算 机 ”概念 ) 领导 的 媒体 实验 室 ， 在 新 一 代 多 通道 用 户 界面 (包括 语音 、 手 势 、 智 能 体 等 ) 
方面 做 了 大 量 开创 性 的 工作 ， 他 是 畅销 书 《 数 字 化 生存 (Being Digital)》 的 作者 ; 

20 世纪 90 年代， 美国 Xerox 公司 PARC (Palo Alto 研究 中 心 ) 的 首席 科学 家 Mark 
Weiser (1952 ~ 1999 年 ) ， 首 先 提 出 “无 所 不 在 计算 (Ubiquitous Computing) ”思想 ， 并 在 此 
领域 做 了 大 量 开拓 性 的 工作 。 

2. 人 机 交互 的 研究 内 容 

目前 人 机 交互 技术 的 研究 ， 大 致 说 来 主要 涉及 以 下 内 容 : 

(1) 用 户 界 面 设 计 原则 ”用户 界面 的 设计 原则 研究 涉及 心理 学 、 人 机 工程 学 、 人 类 学 、 
社会 学 和 艺术 学 等 众多 学 科 ， 其 最 终 目 标 是 产生 友好 的 计算 机 用 户 界 面 。 目 前 广为人知 的 
“以 人 为 中 心 ” 的 原则 、 颜 色 使 用 规则 、 屏 幕布 局 、 联 机 帮助 等 具体 设计 准则 均 建 立 于 这 些 
研究 成 果 之 上 。 

(2) 人 机 交互 模型 ”人 机 交互 模型 是 人 与 计算 机 通信 的 基本 形式 , 已 经 历 了 批 处 理 、 
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联机 终端 、 命 令 驱 动 、 直 接 操纵 等 阶段 ， 未 来 的 智能 化 用 户 界面 将 应 用 图 形 图 像 、 语 音 、 自 
然 语 言 其 至 手势 、 眼 神 等 形式 。 人 机 交互 模型 的 男 一 重要 方面 是 交互 隐喻 ， 直 接 操 纵 技 术 和 
桌面 隐喻 (Desktop Metaphor) 相 结 合 的 WIMP 界面 已 广 为 应 用 。 空 间 隐 喻 (Spatial Meta- 
phor), WWMM (Virtual Reality，VR) 、 自 然 人 工场 景 (Natural Artifact) 等 人 机 交互 范 型 
正在 发 展 。 

(3) 用 户 界 面 模型 ”用户 界面 模型 是 交互 软件 的 框架 。 它 从 理论 上 和 总 体 上 描述 用 户 
和 计算 机 的 交互 活动 ， 帮 助 设计 者 阐明 人 机 交互 系统 的 设计 思想 、 组 织 和 开发 过 程 ， 是 用 户 
界面 开发 的 基础 。 典 型 的 用 户 界 面 模型 有 语言 模型 和 结构 模型 、 事 件 模型 、 面 向 对 象 模 型 、 
任务 分 析 模 型 和 对 话 控 制 模 型 等 。 语 言 模 型 强调 语言 层次 和 相应 的 设计 阶段 ， 结 构 模 型 强调 
交互 系统 的 组 成 ， 最 有 代表 性 的 结构 模型 是 Seeheim 模型 ， 它 建立 在 对 话 独立 思想 的 基础 
上 。 















































(4) 用 户 界 面 设计 方法 ”软件 工程 学 的 发 展 形成 了 较 成 熟 的 软件 设计 方法 和 开发 过 程 
模型 ， 特 别 是 形式 化 方法 在 软件 工程 中 占有 重要 地 位 。 然 而 用 形式 化 方法 设计 用 户 界 面 并 非 
易 事 ， 因 为 人 机 对 话 涉 及 用 户 模型 、 用 户 知识 等 与 心理 学 、 社 会 学 和 艺术 等 更 为 广泛 的 领 
域 ， 而 传统 方法 则 很 少 考虑 这 些 。 目 前 ， 人 们 已 经 发 展 了 状态 转换 图 法 ， 上 下 文 无 关 法 、 面 
向 对 象 方法 和 快速 原型 法 等 ， 但 尚 无 一 种 方法 能 适应 用 户 界面 设计 中 的 各 种 情况 ， 并 且 有 很 
好 的 可 用 性 。 

(5) 用 户 界面 开发 环境 “为 发 挥 用 户 界面 模型 和 设计 方法 的 作用 ， 需 要 建立 用 户 界 面 
开发 工具 和 环境 ， 以 方便 用 户 界面 的 设计 、 维 护 和 评价 。 目 前 常用 的 有 用 户 界面 开发 工具 箱 
(Toolkit) 和 窗口 管理 系统 ， 而 用 户 界面 管理 系统 (UIMS) 则 是 研究 的 重点 。UIMS 是 用 来 
设计 、 执 行 、 评 价 、 维 护 及 管理 最 终 用 户 界面 的 程序 ， 它 集成 在 一 个 统一 的 对 话 模 型 和 表示 
技术 之 中 。 然 而 UIMS 的 商品 化 进程 远 远 落后 于 窗口 管理 系统 ， 重 要 的 原因 之 一 就 是 UIMS 
本 身 难以 使 用 。 

(6) 新 型 交互 设备 ”新 型 交互 设备 的 研制 涉及 心理 学 、 工 效 学 、 传 感 技术 、 精 密 机 械 
等 多 方面 理论 研究 和 技术 开发 ， 一 种 新 的 交互 设备 能 否 为 大 众 接受 取决 于 众多 因素 ， 只 有 符 
合 工效 学 原则 和 经 济 技术 成 本 适当 的 设备 才能 得 到 推广 。 目 前 尚 有 许多 理论 和 技术 问题 没有 
突破 ， 如 自然 语言 理解 的 心理 机 制 ， 语 音 识别 技术 ,头盔 显示 带 视 野 和 分 辨 率 及 成 本 等 。 

(7) 智能 用 户 界面 真正 符合 “用 户 中 心 ”设计 原则 的 用 户 界面 应 该 是 智能 用 户 界 面 ， 
能 够 检测 用 户 的 知识 、 技 能 等 特点 ， 建 立 动态 的 用 户 模 型 ， 对 同一 用 户 或 不 同 用户 的 特点 具 
有 自 适应 能 力 。 对 智能 用 户 界 面 的 研究 受到 人 工 智 能 研究 水 平 的 制约 ， 目 前 尚 有 许多 困难 的 
问题 不 能 得 到 解决 。 

(8) 拟人 化 人 机 交互 技术 传统 的 人 机 交互 技术 不 可 避免 地 受到 计算 机 硬件 技术 和 水 
平 的 限制 ， 用 户 不 得 不 以 用 户 界面 所 支持 的 交互 设备 〈 如 传统 的 键盘 和 鼠标 器 等 ) 提供 的 
固有 方式 与 计算 机 对 话 ， 使 效率 受到 影响 ， 交 互 过 程 不 自然 ， 实 质 上 仍 不 得 不 适应 计算 机 的 
特点 。 如 何 使 人 机 交互 接近 人 与 人 之 间 的 自然 方式 ， 即 实现 拟人 化 的 计算 机 用 户 界面 ， 是 研 
究 者 努力 追求 的 目标 。 在 交互 设备 方面 ， 人 们 积极 研制 全 新 的 输入 输出 设备 ， 包 括 三 维 空间 
控制 装置 、 三 维 立 体 图 像 显示 装置 、 三 维 立 体 声 装置 、 语 音 识别 和 合成 装置 及 自然 语言 理解 
装置 等 。 在 人 机 交互 环境 和 软件 方面 ， 人 们 积极 探索 开发 新 颖 的 、 高 效 的 和 自然 的 人 机 交互 
技术 ， 包 括 多 媒体 技术 、 多 通道 技术 以 及 虚拟 现实 技术 等 ， 充 分 利用 人 的 各 种 感 党 和 效应 通 
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道 进行 高 效 、 自 然 的 人 机 对 话 ， 使 计算 机 对 用 户 更 易学 习 和 使 用 。 

3. 人 机 交互 的 发 展 方向 

1) 人 机 交互 今后 发 展 的 一 个 主要 方向 应 该 是 扩大 人 机 之 间 的 信息 交流 带宽 ， 即 提高 单 
位 时 间 内 人 机 信息 交换 量 。 

@ 扩 大 视野 的 研究 : 在 空间 上 扩大 视野 ， 如 多 屏 、 大 屏 和 全 景 显 示 等 ; 复合 显示 如 头盔 
式 显 示 或 座舱 平视 显示 ， 它 将 屏幕 仪表 透明 地 过 加 在 外 景 

@) 扩 大 信息 传送 的 维 数 : 把 视觉 显示 扩大 为 三 维 ， 如 虚拟 现实 中 用 的 眼 机 (Eyephone) ; 
把 听觉 和 视觉 结合 起 来 ， 如 多 媒体 技术 ; 把 听觉 扩大 为 准 三 维 ， 如 三 维 声 频 技术 ; 把 多 维 的 
视觉 、 上 听觉 等 综合 起 来 ， 如 三 维 感知 技术 等 。 三 维 界面 的 中 心 问题 是 “ 准 实时 ”交互 ， 意 
味 着 系统 要 有 时 间 优 先 的 能 力 ， 即 在 各 种 不 可 预测 的 用 户 配 置 的 环境 中 ， 要 维持 多 种 高 性 
能 ， 首 先 得 保证 时 间 指 标 。 跟 踪 系 统 必须 是 低 灌 后 和 高 精度 的 ， 对 于 按 “ 时 间 优 先 ”原则 
设计 一 种 通用 算法 是 一 个 明显 的 挑战 。 

@ 增 加 人 向 机 发 布控 制 指令 的 方法 : 应 使 人 脑 的 决策 更 快 地 传 给 计算 机 。 显 然 ， 人 脑 中 
的 思想 转 到 从 键盘 敲 字 符 串 这 种 输入 方式 是 慢 的 ， 而 用 语言 、 手 势 、 体 位 、 眼 的 动作 则 很 
快 。 以 后 其 至 脑 电 波 信号 与 皮肤 的 电流 也 可 能 成 为 输入 信号 。 

@ 缩 短 人 对 输入 信息 作出 响应 、 发 出 输出 指令 的 时 间 ， 人 的 各 种 器 官 可 以 同时 工作 ,但 
人 脑 的 并 行 处 理 能 力 是 很 差 的， 这 往往 是 提高 人 机 通信 带宽 的 瓶 贷 ， 就 要 研究 人 的 跟踪 模 
型 、 决 策 模型 、 认 识 模 型 和 多 任务 下 的 模型 等 ， 特 别 要 缩短 人 脑 进行 分 析 判 断 的 时 间 ， 使 操 
作 员 直接 根据 形象 的 任务 进行 操作 ， 而 无 需 再 进行 思索 或 计算 。 

2) 另外 一 个 主要 的 方向 是 扩大 计算 机 与 人 群 的 通信 范围 。 

中 研究 人 的 智能 模型 : 即 研究 人 脑 接受 知识 的 规律 〈 认 知 工程 ) ， 人 机 界面 的 设计 符合 
这 个 规律 ， 就 容易 为 人 所 掌握 ， 并 且 减 少 差错 。 

@) 自 适应 人 机 界面 : 同一 系统 往往 难以 满足 不 同 用 户 的 要 求 ， 自 适应 人 机 界面 将 能 根据 
人 机 间 几 次 交互 的 情况 判断 出 用 户 的 水 平 ， 是 新 手 还 是 老手 ， 然 后 自动 地 进行 相应 的 应 答 水 
准 ， 使 同一 系统 能 为 不 同 层 次 的 人 员 满 意 地 使 用 。 

(工作 场所 的 人 机 界面 技术 与 随时 随地 的 计算 : 这 是 针对 办 公 自 动 化 、 车 间 自 动 化 、 银 
行 自动 化 、 公 共 交 通 和 其 他 公用 设施 自动 化 的 人 机 界面 设计 的 。 要 求 特别 易学 易 用 ， 不 出 差 
错 。 而 且 ， 因 特 网 、 企 业 网 以 及 计算 机 支持 人 协同 工作 (CSCW) WER, 已 经 结束 了 仅 是 
单 人 、 单 机 交互 的 时 期 ， 需 要 协调 计算 机 组 支持 组 成 员 活动 。 

@ 扩 大 对 终端 编程 能 力 的 支持 : WWW 能 如 此 成 功 的 一 个 重要 原因 是 用 户 可 方便 地 创建 
自己 的 页 面 。 但 若 要 创建 交互 式 的 页 面 ， 必 须 与 服务 器 打交道 ， 这 样 仍 需 用 Java 等 语言 统 
E, 还 得 经 过 训练 。 将 来 ， 终 端 编程 更 为 重要 。 目 前 终端 界面 的 特点 是 编辑 和 浏览 ， 以 后 处 
理 、 过 滤 、 分 类 、 查 找 和 安排 信息 将 变 得 更 为 重要 。 系 统 还 可 以 支持 裁剪 ， 以 满足 不 同 需 
要 ， 用 户 可 以 选择 自己 的 界面 风格 ,例如 图 形 界面 虽然 适合 于 多 数 人 ,但 盲人 宁可 要 文本 的 
听觉 界面 。 

人 机 交互 技术 这 一 交叉 学 科 在 近 几 十 年 来 发 展 极为 迅速 。 今 后 ， 它 一 方面 是 面 对 批 量 
的 、 复 杂 的 、 分 布 信息 的 快速 存 取 与 计算 机 的 使 用 场所 的 广泛 延 拓 ; 另 一 方面 ， 广 大 的 用 户 
却 是 计算 机 生 手 ， 且 具有 较 多 的 群体 特点 ， 因 此 需要 迅速 发 展 更 自然 和 有 效 的 人 机 交互 手 
段 。 这 对 该 领域 的 研究 者 们 提出 了 一 系列 富有 挑战 性 的 任务 。Xerox 公司 也 提出 了 自己 的 看 
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法 ， 即 HCI 要 向 着 HII (Human Information Interaction， 人 与 信息 交互 ) 发 展 。 另 一 方面 ， 增 
强 现实 (Augmented Reality, AR) 技术 是 在 虚拟 现实 技术 基础 上 发 展 起 来 的 新 技术 ， 是 通过 
计算 机 系统 提供 的 信息 增加 用 户 对 现实 世界 感知 的 技术 ， 并 将 计算 机 生成 的 虚拟 物体 、 场 景 
或 系统 提示 信息 鲜 加 到 真实 场景 中 ， 从 而 实现 对 现实 的 “增强 ”。 哈 佛 大 学 机 器 人 实验 室 
(HRL) 的 Ronald Azuma 是 这 样 定 义 增强 现实 的 ， 虚实 结合 ， 实 时 交互 ， 三 维 注册 。 


7.2 ”虚拟 现实 技术 



































7.2.1 概述 


虚拟 现实 技术 是 20 世纪 末 才 兴起 的 一 门 轿 新 的 综合 性 信息 技术 。 它 融合 了 数字 图 像 处 
理 、 计 算 机 图 形 学 、 多 媒体 技术 、 传 感 器 技术 等 多 个 信息 技术 分 文 ， 从 而 大 大 推进 了 计算 机 
技术 的 发 展 。 所 谓 虚拟 现实 (VR) ， 是 指 采用 各 种 技术 来 营造 一 个 能 使 人 有 置身 于 真正 的 现 
实 世 界 中 的 感觉 的 环境 ， 也 就 是 要 使 人 产生 和 置身 于 现实 世界 中 相同 的 视觉 、 听 觉 、 触 觉 、 
嗅觉 、 味 觉 等 。 目 前 的 研究 还 主要 集中 在 前 面 三 项 。 由 于 它 生成 的 视觉 环境 是 立体 的 、 音 效 
是 立体 的 、 人 机 交互 是 和 谐 友 好 的 ， 因 此 虚拟 现实 技术 将 一 改 人 与 计算 机 之 间 枯 燥 、 生 硬 和 
被 动 的 现状 ， 即 计算 机 创造 的 环境 将 人 们 陶醉 在 流连 忘 返 的 工作 环境 之 中 。 虚 拟 现实 是 计算 
机 模拟 的 三 维 环境 。 用 户 可 以 走 进 这 个 环境 ， 并 操纵 系统 中 的 对 象 ， 如 运动 方向 、 速 度 等 ， 
而 系统 也 可 以 向 用 户 反 馈 信息 。 虚 拟 现实 最 重要 也 是 最 诱 人 之 处 是 其 实时 性 和 交互 性 。 通 过 
计算 机 网 络 ， 多 个 用 户 可 以 参与 同一 虚拟 世界 ， 在 视觉 与 听觉 的 感受 上 与 现实 世界 一 样 ， 甚 
至 更 绚丽 多 彩 。 虚 拟 现 实 自 诞 生 以 来 ， 就 在 航空 航天 、 军 事 、 核 工业 及 其 他 行业 中 发 挥 着 不 
可 震 代 的 作用 ， 与 多 媒体 、 网 络 并 称 为 三 大 前 景 最 好 的 计算 机 技术 。 虚 拟 现实 的 诱 人 前 景 吸 
引 各 大 公司 努力 开发 各 种 设备 ， 这 些 在 促进 虚拟 现实 的 实际 应 用 上 起 到 了 很 大 的 作用 。 

虚拟 现实 系统 中 的 人 机 交互 技 
术 ， 主 要 是 发 展 和 完善 三 维 交互 。 虚 
拟 环境 产生 器 的 作用 是 根据 内 部 模型 
和 外 部 环境 的 变化 ， 计 算 生 成 人 在 回 
路 中 的 逼真 的 虚拟 环境 ， 人 通过 各 种 
传感器 与 这 个 虚拟 环境 进行 交互 。 根 
HE J. J. Gibson 的 概念 模型 ， 多 交互 通 
道 应 该 包括 视觉 、 听 觉 、 触 觉 、 品 
觉 、 味 觉 、 方 向 感 等， 如 图 72 所 
IRo 

虚拟 现实 技术 与 多 媒体 、 网 络 技 
术 并 称 为 三 大 前 景 最 好 的 计算 机 技 
术 。 自 1962 年 ， 美 国 青年 Morton 
Heilig 发 明了 实感 全 景 仿真 机 开始 ， 
虚拟 现实 技术 越 来 越 受到 大 众 的 关 
注 。 以 31， 即 Immersion (沉浸 感 ) Interaction (交互 性 ) Imagination (思维 构想 性 ) 作为 
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图 7-2 ”虚拟 现实 中 的 人 机 交互 技术 
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虚拟 现实 技术 最 本 质 的 特点 ， 并 融合 其 他 先进 技术 ， 在 国际 互联 网 发 展 迅 猛 的 今天 ， 具 有 广 
泛 的 应 用 前 景 。 


7.2.2 主流 技术 介绍 


1. VRML 技术 

虚拟 现实 建 模 语言 (VRML) 是 一 种 与 互联 网 结合 、 用 来 描述 三 维 交 互 世 界 的 程序 语 
言 ， 可 应 用 于 创建 虚拟 现实 的 对 象 、 景 象 和 展示 模型 。 其 作用 就 是 用 来 创建 虚拟 现实 场景 ， 
它 把 “虚拟 世界 ”看 成 一 个 “场景 ”， 而 场景 中 的 一 切 都 看 成 “对 象 ” (也 就 是 一 个 “ 节 
点 ”) ， 对 每 一 个 对 象 的 描述 就 构成 了 VRML 文件 。VRML 的 目的 主要 是 在 网 页 中 实现 三 维 
动画 效果 及 其 与 三 维 对 象 的 交互 。 应 用 VRML 动态 显示 的 功能 能 够 实现 虚拟 设计 中 的 动态 
仿真 ， 可 实现 用 户 参与 虚拟 设计 。 用 VRML 编写 的 虚拟 场景 浏览 网 页 界面 如 图 7-3 所 示 。 

2. Flash 技术 

Flash 技术 严格 意义 上 说 是 基于 二 维 的 应 用 的 。 由 于 它 的 文件 量 小 、 形 式 新 颖 动人 ， 在 
互联 网 上 颇 受 青睐 ， 可 以 进行 模拟 物体 、 模 拟 场 景 及 点 线 面 的 三 维 模 拟 。 图 74 是 利用 
Flash 技术 制作 的 一 个 人 脸 演示 ， 随 着 鼠标 的 左右 移动 ， 三 维 人 脸 模型 也 会 做 出 相应 的 动作 。 






























































图 7-3 虚拟 场景 浏览 网 页 界 理 图 7-4 Flash 技术 示例 

















3. 3Dmax 技术 

在 脸 部 表情 的 动画 模拟 方面 ， 人 们 初期 用 数字 化 仪 将 人 脸 的 各 种 表情 输入 到 计算 机 中 ， 
然后 用 这 些 表 情 的 线性 组 合 来 产生 新 的 脸 部 表情 。 该 方法 的 缺点 是 缺乏 灵活 性 ， 不 能 模拟 表 
情 的 细微 变化 ， 并 且 与 表情 库 有 很 大 关系 。1987 年 ，Waters 提出 了 一 个 基于 脸 部 表情 编码 
系统 (Facial Action Coding System, FACS) 的 脸 部 表情 动画 模拟 方法 。 该 方法 由 一 个 肌肉 参 
数 模型 组 成 ， 人 的 脸 用 多 边 形 网 格 来 表示 ， 并 用 肌肉 向 量 来 控制 人 脸 的 变形 。 它 的 特点 在 于 
可 用 一 定数 量 的 参数 对 模型 的 特征 肌肉 进行 控制 ， 并 且 不 针对 特定 的 脸 部 拓扑 结构 。Waters 
FATT IKE BOT E, MR, HU, RG, APSE, Waters 的 算法 已 成 为 模拟 脸 
部 表情 动画 的 核心 算法 之 一 。 而 这 些 都 是 在 3Dmax 中 得 以 实现 的 。 图 7-5 显示 了 应 用 3Dmax 
制作 的 初步 人 脸 模型 。 

4. Java 3D 技术 

利用 Java 技术 可 以 轻松 地 创建 360° 实 景物 体 和 场景 展示 ， 并 能 模拟 三 维 空间 ， 主 要 的 
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代表 公司 是 APPLE (Quicktime) 和 Mgi SF], Java 3D 是 美国 Sun 公司 为 了 弥补 Java 语言 在 
多 媒体 及 图 形 编 程 方面 的 不 足 而 推出 的 一 系列 标准 扩展 API, Java 3D 的 推出 是 Java 在 视觉 
上 、 互 动 性 上 产生 了 一 次 飞跃 ,使 Java 开发 人 员 具 备 了 开发 三 维 视觉 的 小 应 用 程序 和 应 用 
程序 。 这 些 程 序 还 具有 与 客户 交互 的 能 力 。 图 7-6 是 纽约 大 学 KenPerlin 教授 用 Java 语言 设 
计 的 虚拟 人 形象 。 





























图 7-5 用 3Dmax 制作 的 初 图 7-6 纽约 大 学 KenPerlin 
步 人 脸 模型 教授 设计 的 虚拟 人 形象 


5. OpenGL 技术 

OpenGL (OpenGraphics Library， 开 放 的 图 形 库 ) 是 由 美国 硅 图 公司 (SCL) 开发 的 三 维 
图 形 库 。 它 广泛 适合 于 计算 机 系统 环境 下 的 三 维 图 形 应 用 程序 设计 接口 ， 目 前 已 成 为 开放 式 
国际 三 维 图 形 程序 标准 。OpenGL 实际 上 是 与 图 形 硬件 完全 无 关 的 程序 设计 接口 ， 由 100 多 
个 相关 命令 与 函数 组 成 。OpenGL 是 一 种 基于 状态 的 执行 机 制 ， 即 OpenGL 命令 的 执行 被 置 
于 各 种 状态 中 ， 而 且 一 直 有 效 地 保持 到 有 命令 改变 这 种 状态 为 止 。SGI 公司 为 用 户 提 供 了 三 
个 连接 库 ， 使 其 对 于 OpenGL 的 程序 设计 更 简化 。 它 们 是 : 实用 库 (GLU)， 用 以 执行 特殊 
任务 如 坐标 变换 、 纹 理 映 射 、 多 边 形 网 格 化 、NURBS 曲面 等 操作 ; 视窗 系统 扩展 库 
(GLX) ， 用 以 把 OpenGL 设备 场景 与 视窗 系统 相关 联 ; 辅助 库 (GLAUX) ， 用 以 初始 化 窗 
口 、 监 控 输入 输出 、 绘 制 三 维 对 象 等 。OpenGL 还 包括 多 个 基于 双 绥 存 技术 的 动画 操作 函数 ， 
可 以 有 效 地 支持 对 几何 造型 的 三 维 仿真 。 

在 从 几何 造型 的 建 模 到 动画 生成 的 全 部 过 程 中 ，OpenGL 命令 或 函数 对 图 形 的 基本 操作 
是 从 图 形 顶 点 开始 ， 通 过 流水 线 处 理 ， 最 后 把 像素 值 写 入 帧 缓存 的 。 图 7-7 是 OpenGL 基本 
操作 的 计算 机 图 表 的 描述 。 

现在 几乎 所 有 较 高 档 的 3D 图 形 显示 卡 都 支持 OpenGL 标准 ， 而 日 益 发 展 起 来 的 虚拟 现 
实 技术 也 要 求 OpenGL 作为 其 浏览 器 的 底层 支持 。 虽 然 Microsoft 公司 开发 的 DirectX 正 得 到 
游戏 开发 人 员 的 重视 ,但 是 OpenGL 的 应 用 范围 可 涉及 仿真 、3D 图 形 、 图 像 处 理 和 动画 等 
领域 ， 它 在 图 形 、 图 像 领域 内 的 霸主 地 位 无 可 动 播 ， 更 令 人 动心 的 是 ，SGI 公司 新 开发 的 
Cosmo OpenGL 可 以 方便 地 用 于 VRML 的 翻译 。 另 外 ,由 3DS MAX 等 绘制 的 动画 、 场 景 等 也 
可 由 工具 翻译 为 OpenGL 语言 。 

利用 OpenGL 可 以 创作 出 具有 有 照片 质量 的 、 独 立 于 窗口 系统 (Windowing System), HE 

























































































1 顶点 操作 与 
顶点 数据 鉴别 器 图 元 装配 


图 7-7 OpenGL 基本 操作 的 计算 机 图 表 

















系统 (Operating System) 和 硬件 平台 的 三 维 彩 色 图 形 和 动画 。OpenGL 的 核心 库 包 括 100 多 
个 用 于 3D 图 形 操作 的 函数 ， 主 要 负责 处 理 对 象 外 形 描述 、 抢 阵 变换 、 灯 光 处 理 、 着 色 、 材 
质 等 与 三 维 图 形 图 像 密切 相关 的 事情 。OpenGL 工具 库 所 包含 的 辅助 函数 是 OpenGL SE AS K 
数 的 补充 。 这 些 函 数 的 功能 相对 高 级 ， 可 以 用 于 人 处理 坐标 变换 ， 错 误 处 理 ， 绘 制 球 体 、 锥 
体 、 柱 体 、 曲 线 、 曲 面 等 图 形 实体 。 计 算 机 硬件 性 能 的 提高 和 OpenGL 本 身 的 不 断 发 展 ， 使 
得 OpenGL 不 再 只 属于 专用 图 形 工作 站 。 如 今 ， 开 发 人 员 可 以 在 各 种 硬件 平台 上 ， 利 用 
OpenGL 进行 图 形 软 件 开发 。 

OpenGL 应 用 领域 十 分 宽广 ， 如 军事 、 电 视 广 播 、 计 算 机 辅助 设计 /计算 机 辅助 制造 / 计 
算 机 辅助 工程 (CAD/CAM/CAE), 、 娱 乐 、 艺 术 造 型 、 医 疗 影像 、 虚 拟 世 界 等 。 选 择 OpenGL 
的 必要 性 是 基于 OpenGL 的 三 维 仿真 具有 如 下 的 优越 性 : 

(1) ÆRE OpenGL 不 仅 提供 基本 的 三 维 几 何 像素 生成 函数 ， 而 且 提 供 了 大 量 关 于 
点 、 线 、 面 以 及 NURBS 曲线 、NURSB 曲面 等 基本 图 元 操作 也 数 ， 用 之 可 以 构建 相当 复杂 的 
几何 造型 ， 以 满足 三 维 仿真 的 造型 需要 。 

(2) 实时 的 三 维 仿真 ”由 于 OpenGL 同时 提供 了 颜色 动画 操作 函数 ， 使 仿真 应 用 程序 设 
计 的 算法 更 简单 ， 极 大 地 提高 了 动态 仿真 的 帧 显示 速度 ， 使 实时 的 三 维 仿真 得 以 实现 。 

(3) 高 度 的 真实 感 显示 “还 提供 了 大 量 的 着 色 、 光照 、 景 深 、 阴 影 、 混 合 、 消 隐 、 反 
走样 、 明 暗 处 理 、 材 质 处 理 、 图 像 处理 、 纹 理 映 射 、 浓 深度 检测 等 功能 函数 ， 保 证 了 三 维 仿真 
图 形 显示 具有 高 度 的 真实 感 。 

(4) 程序 的 独立 性 ”OpenGL 是 与 硬件 、 视 窗 和 操作 相互 独立 的 ， 因 而 三 维 仿真 程序 可 
以 完全 独立 于 视窗 和 操作 系统 之 上 ,仿真 程序 的 设计 可 相应 地 划分 为 5 个 层次 : 图 形 硬件 、 
操作 系统 、 窗 口 系 统 、OpenGL 和 三 维 仿 真 程序 。 

(5) 程序 的 通用 性 与 可 移植 性 ”由 于 OpenGL 可 集成 到 各 种 标准 视窗 和 操作 系统 ， 如 
DOS、Windows95 、WindowsNT、UNIX 等 中 ， 因 此 基于 OpenGL 的 三 维 仿真 程序 有 良好 的 通 
用 性 与 可 移植 性 。 


7.2.3 三 维 人 脸 建 模 的 相关 技术 及 算法 


近年 来 ， 随 着 网 络 应 用 的 日 益 广泛 ， 人 们 之 间 的 交流 方式 也 在 发 生 改 变 。 从 面对面 地 交 
谈 、 打 电话 ， 到 网 络 聊天 、 互 发 电子 邮件 ， 人 们 越 来 越 趋 向 于 在 虚拟 网 络 世界 中 进行 交流 。 
a ear É, MARE. RR. REAR BA, At 
算 机 图 形 学 在 建 模 、 泻 染 和 实时 动画 等 方面 的 发 展 ， 人 脸 建 模 和 动画 在 电影 虚拟 角色 、 远 程 
cil, RE. GE, RAMS MAE. Bh ROMS, USER 
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取得 了 广泛 的 应 用 。 传 统 的 人 脸 模 型 多 是 通过 昂贵 的 计算 机 断面 成 像 (CT) 、 核 磁 共 振 、 三 
维 激光 扫描 等 设备 建立 起 来 的 ， 模 型 复杂 ， 精 确 度 高 。 而 对 于 人 们 在 虚拟 世界 中 进行 交流 这 
个 应 用 来 说 ， 更 希望 以 小 的 代价 来 建立 相对 不 是 那么 精确 的 人 脸 模 型 。 因 此 ， 可 以 利用 人 的 
正面 和 侧面 的 照片 合成 具有 一 定 通 真 度 的 三 维 人 脸 模 型 ， 并 在 这 一 模型 上 实现 是 眼 、 抽 鼻 
T, WR, RE, RETA AY eS fi] M 

人 们 研究 虚拟 人 脸 已 经 有 近 20 年 的 时 间 了 ， 它 们 主要 在 实验 室 中 ， 用 来 模拟 真实 人 脸 
的 运动 和 行为 。 直 到 最 近 ， 虚 拟人 脸 开始 应 用 于 娱乐 和 商业 领域 ， 比 如 电影 、 游 戏 和 虚拟 播 
音 员 和 节目 主持 人 等 。 在 新 一 代 分 布 式 信息 系统 中 ， 融 识别 、 合 成 、 动 画 技术 的 多 模 态 的 人 
机 接口 是 其 基本 特点 。 

人 脸 建 模 动 画 研究 可 以 分 为 两 个 方面 : 以 几何 处 理 为 基础 的 和 以 图 像 处 理 为 基础 (IL 
图 7-8) 的 。 每 个 领域 又 包含 更 深层 次 的 分 类 。 几 何 处理 包 括 关键 帧 和 几何 插值 、 参 数 化 、 
有 限 元 方法 、 基 于 物理 学 的 肌肉 模型 、 可 视 的 伪 肌 肉 模型 、 样 条 模型 和 自由 形式 变形 。 图 像 
处 理 包括 在 照片 图 形 图 像 、 纹 理 处 理 、 图 像 混合 及 血管 表示 之 间 的 图 像 变 形 。 在 预 处 理 阶 
段 ， 对 于 特定 人 的 独立 模型 可 以 通过 人 体 测量 学 、 离 散 数 据 插值 ， 或 将 目标 和 源 网 格 投 影 到 
球形 和 柱 形 坐 标 中 的 方法 来 构建 。 这 种 模型 的 构建 通常 是 通过 特征 跟踪 或 基于 性 能 的 动画 来 
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图 7-8 人 脸 动 画 分 类 








人 脸 作 为 人 的 最 重要 外 部 特征 ， 在 人 与 人 的 通信 交流 过 程 中 起 着 非常 重要 的 作用 。 它 能 
够 通过 传递 许多 非 语言 的 信息 来 加 强 理 解 或 表达 情感 。 真 实感 的 计算 机 人 脸 动 画 是 计算 机 图 
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形 学 领域 最 基本 的 问题 之 一 。 同 时 ， 由 于 人 脸 生 理 结 构 十 分 复杂 及 人 们 对 人 脸 的 细节 变化 十 
分 敏感 ， 它 也 成 为 最 困难 和 最 具 挑 战 性 的 问题 之 一 。 但 是 ， 计 算 机 人 脸 动 画 有 着 广泛 的 应 用 
领域 ， 它 既 可 以 用 来 制作 虚拟 现实 环境 中 的 各 种 虚拟 人 物 ; 又 可 以 用 来 制作 和 传输 网 络 媒 
体 ， 如 虚拟 播音 员 、 可 视 电 话 、 远 程 网 络 会 议 等 。 另 外 ， 它 在 电影 制作 、 游 戏 娱乐 、 医 学 美 
容 等 方面 都 有 着 很 好 的 应 用 前 景 。 正 是 由 于 计算 机 人 脸 动 画 有 广泛 的 应 用 领域 ， 所 以 它 引 起 
了 研究 者 们 极 大 的 兴趣 。 自 从 Parke 在 1972 年 开创 这 个 研究 领域 以 来 ，30 多 年 中 ， 研 究 者 
们 在 该 领域 做 了 大 量 的 研究 工作 ， 并 取得 了 很 大 的 进展 。 近 些 年 来 ， 随 着 计算 能 力 的 飞速 提 
高 和 网 络 应 用 的 蓬勃 发 展 ， 这 一 领域 再 次 成 为 研究 的 热点 。 

(1) 计算 机 人 脸 建 模 ”计算 机 人 脸 建 模 工作 包括 两 个 过 程 : 构造 人 脸 模 型 和 纹理 的 处 
E (生成 真实 感 的 人 脸 ) 。 而 构造 人 脸 模型 过 程 又 包括 脸 部 数据 的 获取 和 脸 部 模型 的 表示 等 
两 项 工作 。 纹 理 处 理 的 目的 是 为 了 增强 模型 的 真实 感 。 它 包括 纹理 的 生成 、 光 照 的 处 理 和 脸 
部 细节 的 处 理 等 工作 。 人 脸 建 模 同时 要 表现 出 与 人 脸 部 有 联系 的 组 织 和 器 官 的 特征 、 形 状 、 
变形 和 运动 ， 人 脸形 状 的 复杂 性 和 人 们 对 于 人 脸 细 节 的 敏感 性 使 人 脸 建 模 成 为 一 项 困难 而 又 
费时 的 工作 。 因 此 ， 在 进行 人 脸 建 模 时 ， 应 根据 具体 的 应 用 要 求 ， 选 择 合适 的 建 模 方法 。 

1) 脸 部 数据 的 获取 一 般 来 说 ， 人 脸 建 模 有 两 种 数据 来 源 : 2D 输入 和 3D 输入 。3D 
数字 化 扫描 仪 是 最 直接 和 常用 的 3D 输入 设备 。 用 这 种 方法 ， 数 十 万 个 深度 和 反射 样本 数据 
能 够 在 几 秒 钟 内 得 到 。Waters 和 Terzopoulos 使 用 此 方法 来 构造 脸 部 模型 。 这 种 方法 的 缺点 
是 设备 过 于 昂贵 ， 且 得 到 的 纹理 图 像 的 分 辩 率 不 是 很 高 。 另 一 种 3D 输入 方法 是 使 用 3D 跟 
踪 仪 。 使 用 这 种 方法 ， 网 格 或 特征 点 被 直接 置 在 真人 的 脸 上 ， 然 后 通过 使 用 3D 数字 化 扫描 
仪 得 到 网 格 点 或 特征 点 的 3D 坐标 。 这 个 过 程 不 是 自动 的 ， 通 常 需要 手工 的 介入 ， 因 此 相当 
费时 。 对 于 2D 输入 来 说 ,最 常用 的 方法 是 通过 对 立体 图 像 进 行 摄影 测绘 来 确定 人 脸 模 型 . 
先 从 不 同 角度 得 到 对 象 主体 的 两 张 脸 部 图 像 ， 然 后 在 两 张 图 像 间 确定 点 对 点 的 对 应 关系 ， 并 
得 到 点 的 3D 坐标 ， 最 终结 合 两 张 图 像 得 到 人 脸 模 型 。 另 一 种 方法 是 基于 一 张 人 脸 的 正面 图 
像 ， 利 用 人 体 测 量 学 研究 成 果 ， 得 到 人 的 脸 部 模型 。 在 数据 来 源 方 面 ， 本 节 采 用 的 是 2D 数 
据 的 输入 。 

2) 脸 部 模型 的 表示 方法 人 上 脸 不 同 生 理 层 之 间 的 相互 作用 ,使 模拟 人 脸 变 形成 为 一 项 
非常 复杂 和 困难 的 工作 。 同 时 ， 对 于 人 脸 变 形 的 模拟 也 依赖 于 脸 部 模型 的 表示 方法 。 因 此 ， 
将 脸 部 模型 的 表示 和 变形 方法 分 开 是 很 困难 的 。 通 常 ， 人 脸 模型 是 几何 表示 和 变形 方法 的 结 
合体 。 因 此 ， 在 选择 脸 部 模型 的 表示 方法 时 ， 应 考虑 应 用 的 要 求 和 变形 方法 。 脸 部 模型 的 表 
示 方 法 大 致 可 以 分 为 多 边 形 表示 法 和 曲面 表示 法 两 类 。 多 边 形 表示 法 通常 采用 和 矩形 网 格 和 三 
角形 网 格 来 表示 模型 。 与 多 边 形 表示 方法 相 联 系 的 脸 部 变形 方法 有 关键 帧 插值 、 参 数 法 、 基 
于 物理 的 肌肉 变形 方法 、 伪 肌肉 变形 法 等 。 尽 管 多 边 形 表示 法 在 各 种 脸 部 模型 中 被 广泛 使 
用 ， 但 它们 却 常常 不 能 很 好 地 表现 人 脸 部 的 平滑 性 和 弹性 。 曲 面 表示 法 为 此 提供 了 一 个 很 好 
的 解决 办 法 。 曲 面 表示 法 包括 样 条 模型 和 有 限 元 素 模型 等 。 与 曲面 表示 法 相 联系 的 变形 方法 
有 参数 法 、 基 于 物理 的 肌肉 变形 法 、 伪 肌肉 变形 法 等 。 在 人 脸 模 型 的 表示 方法 方面 ， 本 节 采 
用 的 是 多 边 形 表示 法 中 的 参数 法 。 

(2) 真实 感人 脸 的 生成 ”在 计算 机 人 脸 动 画 中 ， 脸 部 表情 细节 的 微小 变化 ， 如 光照 的 
变化 、 脸 部 皮肤 颜色 的 瞬间 变化 、 皱 纹 等 ， 能 够 极 大 地 增强 人 脸 模 型 的 真实 感 ， 同 时 能 够 传 
递 更 多 的 非 语言 信息 。 通 常 ， 脸 部 图 像 一 般 是 由 纹理 或 阴影 (Shading) 方法 来 得 到 颜色 。 
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Shading 方法 根据 表面 属性 和 光照 模型 来 计算 每 个 像素 的 颜色 值 。 由 于 人 对 皮肤 颜色 变化 的 
敏感 性 ， 简 单 的 光照 模型 一 般 不 能 产生 足够 的 真实 感 。 纹 理 能 够 在 每 个 像素 实现 表面 属性 的 
复杂 变化 ， 因 此 它 能 够 在 缺乏 表面 几何 信息 的 情况 下 表现 出 细节 。 

1) 纹理 的 获取 ”获取 人 上 脸 纹理 信息 最 直接 的 方式 是 使 用 3D 数字 激光 扫描 仪 ， 但 是 得 
到 的 纹理 图 像 的 分 辩 率 不 是 很 高 。 另 一 种 方法 是 从 人 脸 的 照片 中 获取 关于 人 脸 的 纹理 图 像 。 
这 种 方法 首先 得 到 一 套 关 于 主体 对 象 脸 部 的 照片 ， 然 后 从 中 恢复 出 视点 参数 ， 最 后 依据 已 构 
造 的 脸 部 模型 计算 出 脸 部 模型 上 每 个 顶点 在 纹理 图 像 中 的 颜色 信息 。Pighin 等 人 将 一 幅 脸 部 
表情 纹理 图 像 表示 为 已 有 关键 脸 部 表情 纹理 图 像 的 凸 结合 ， 通 过 分 别 分 配 不 同 的 权 系 数 融合 
这 些 图 像 产 生 新 的 纹理 图 像 。 在 纹理 获取 方面 ， 本 节 采 用 的 方法 是 从 人 脸 的 照片 中 获取 关于 
人 脸 的 纹理 图 像 。 

2) 光照 变化 的 实现 ”利用 纹理 图 像 对 脸 部 模型 进行 泻 染 能 大 大 增强 模型 的 真实 感 ， 但 
是 纹理 图 像 仅 仅 反 映 人 脸 被 拍摄 时 的 光照 条 件 ， 这 通常 会 引入 不 真实 的 效果 。 因 此 ， 对 人 脸 
在 不 同 光照 条 件 下 脸 部 反射 效果 变化 的 处 理 ， 对 于 加 强 真实 感 具 有 很 大 的 作用 。 基 于 焙 图 像 
技术 ，Marschner 等 人 首先 计算 在 新 的 和 老 的 光照 条 件 下 得 到 的 图 像 的 颜色 比率 ， 然 后 用 此 
比率 对 在 老 的 光照 条 件 下 得 到 的 另 一 张 照片 进行 纹理 处 理 ， 得 到 后 者 在 新 光照 条 件 下 的 图 
像 。 

(3) 计算 机 人 脸 动画 “计算 机 人 脸 动画 的 目的 是 通过 提供 一 个 完整 、 简 练 的 脸 部 动画 
过 程控 制 模型 ， 控 制 脸 部 模型 之 间 的 变形 ， 横 拟 真 实 的 人 脸 运 动 和 表情 转换 。 计 算 机 人 脸 动 
画 控制 方法 主要 有 以 下 几 种 : 关键 帧 插值 法 、 参 数 法 、 表 演 驱 动 法 、 基 于 物理 的 方法 和 基于 
肌肉 的 物理 方法 等 。 这 些 方法 各 自 有 上 自己 的 优 缺 点， 并 没有 一 个 最 优 的 方法 。 下 面 将 分 别 介 
绍 这 些 方法 。 

1) 关键 帧 插值 法 ”关键 帧 插值 法 是 最 简单 也 是 最 常用 的 脸 部 动画 控制 方法 。 它 首先 通 
过 使 用 3D 数字 化 扫描 仪 、 立 体 图 像 摄 影 测绘 法 或 使 用 光学 扫描 仪 等 三 种 方法 之 一 得 到 一 个 
离散 的 脸 部 形态 集合 。 这 些 脸 部 数据 具有 相同 的 拓扑 结构 ， 能 够 在 每 个 脸 部 形态 上 相应 点 之 
间 建 立 一 一 对 应 的 映射 关系 。 两 个 脸 部 形态 之 间 的 中 间 形 态 可 通过 搬 值 得 到 ， 如 图 7-9 所 
示 。 线 性 插值 方法 由 于 其 简单 和 直观 的 特性 而 被 广泛 使 用 。 但 是 由 于 关键 帧 插值 局 限于 所 能 
得 到 的 脸 部 形态 ， 从 而 无 法 实现 大 量 丰 富 的 脸 部 表情 合成 表情 ， 同 时 还 不 能 实现 脸 部 表情 的 
直接 控制 ， 这 促使 了 参数 法 的 提出 。 






















































































中 性 人 脸 插值 后 的 图 像 微笑 的 人 脸 
图 7-9 ”应 用 线性 插值 后 得 到 的 人 上 脸 图 像 




















2) 参数 法 ”为 了 克服 关键 帧 插值 法 的 缺点 和 局 限 性 ，Parke 提出 了 参数 法 。 在 人 脸 参 
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数 模型 中 ， 考 虑 了 两 种 参数 : 模型 构造 参数 和 人 脸 表 情 控制 参数 。 通 过 确定 关键 参数 集 和 插 
值 其 他 的 参数 可 以 产生 任意 的 脸 部 表情 ， 并 实现 脸 部 表情 之 间 的 变形 。 参 数 的 确定 不 仅 影响 
模型 的 结构 和 大 小 ， 而 且 也 影响 表情 的 产生 。 表 情 参 数 和 模型 构造 参数 的 分 离 使 表情 的 产生 
独立 于 脸 部 特征 。 与 关键 帧 插值 法 相 比 ， 参 数 法 允许 对 脸 部 表情 的 直接 控制 ， 而 且 它 可 以 实 
现 大 的 数据 压缩 比 ， 在 低 带宽 的 情况 下 ， 实 现实 时 上 脸 部 动画 。 参 数 法 的 缺点 是 ， 在 一 个 脸 部 
表情 向 另 一 个 脸 部 表情 转化 时 ， 它 不 能 一 致 、 协 调 地 处 理 在 融合 影响 相同 的 顶点 的 表情 时 产 
生 的 参数 冲突 。 

3) 基于 肌肉 的 物理 方法 ”为 了 合成 真实 的 人 脸 动 画 ， 基 于 肌肉 的 方法 是 根据 人 脸 的 生 
理 结构 ， 从 生理 的 角度 对 人 脸面 部 行为 进行 模拟 的 。 根 据 解剖 学 的 理论 ， 人 脸 具 有 复杂 的 、 
层次 性 的 生理 结构 ， 由 头骨 、 肌 肉 层 、 履 盖 的 肌 膜 组 织 和 外 部 皮肤 层 组 成 。 头 骨 的 形状 决定 
了 整个 人 脸 的 形状 。 头 骨 由 14 块 主要 的 骨头 组 成 ， 其 中 下 上 显 骨 是 惟一 的 关节 ， 牙 齿 是 惟一 
可 能 看 见 的 骨 结 构 。 人 上 脸 部 表情 的 产生 和 皮肤 的 变形 主要 是 由 脸 部 肌肉 运动 所 引起 的 。 使 人 
脸 具 有 特定 表情 所 涉及 的 主要 肌肉 有 口 轮 而 肌 、 盟 肌 、 类 肌 、 眼 轮 还 肌 、 皱 眉 肌 等 。 基 于 肌 
肉 的 方法 根据 对 肌肉 本 身 的 生理 构成 和 特性 ， 以 及 肌肉 运动 与 产生 的 脸 部 表情 和 皮肤 变形 关 
系 的 分 析 ， 通 过 动力 学 模型 模拟 肌肉 的 运动 来 生成 真实 的 人 脸 动 画 。 

4) 质点 - 弹 签 系 统 法 ”基于 目标 对 象 的 物理 性 质 ， 质 点 - 弹 得 系统 已 被 广泛 地 用 于 模拟 
可 变形 物体 。 它 用 由 质点 集 组 成 的 网 格 系统 来 模拟 对 象 ， 并 通过 弹 得 来 连接 质点 。 弹 得 通常 
是 线性 的 ,但 是 非 线 性 的 弹簧 也 常 被 使 用 ， 以 模拟 对 象 的 非 弹 性 的 行为 。 质 点 的 运动 服从 于 
牛顿 第 二 定律 。 整 个 网 格 系统 的 运动 是 通过 结合 所 有 质点 的 运动 来 实现 的 。 在 计算 机 人 脸 动 
画 中 ,质点 - 弹 繁 系 统 已 被 广泛 地 用 于 模拟 人 脸 部 的 表情 变化 。Terzopoulos 和 Waters 将 动态 
质点 一 弹簧 系统 用 于 人 脸 的 动画 。 根 据 人 脸 组 织 的 生理 解剖 结构 ， 他 们 建立 了 一 个 三 层 质点 
网 格 结构 ， 如 图 7-10 所 示 。 三 个 可 变形 网 格 层 对 应 于 皮肤 层 、 脂 肪 层 和 与 骨骼 连接 的 肌肉 
层 。 肌 肉 收缩 力 通过 网 格 层 扩展 ， 以 产生 脸 部 表情 动画 。 

5) 有 限 元 素 法 ”根据 物体 的 几何 结构 、 物 理性 
质 和 应 用 要 求 的 不 同 ， 有 限 元 素 法 (FEM) 将 一 
人 以 
连续 的 方式 模拟 每 个 元 素 的 变形 。 每 个 元 素 由 一 个 插 
值 函 数 来 定义 元 素 内 的 数值 变化 。 各 元 素 之 问 通过 离 
散 的 节点 连接 、 对 节点 和 元 素 边界 的 限制 ， 实 现 元 素 
间 的 连续 性 。 针 对 不 同 的 应 用 要 求 和 不 同 的 对 象形 状 ， 
可 定义 不 同 的 元 素 ， 这 些 元 素 是 通过 它们 的 节点 数量 


和 几何 形状 来 定义 的 。 与 前 面 的 两 种 方法 一 样 ， 有 限 图 7-10 分 层 网 格 肌肉 模型 


















































































































































元 素 法 也 无 法 生成 类 似 皱纹 的 脸 部 细节 。 A a ee 
6) 伪 肌 肉 变形 法 ”基于 肌肉 的 物理 方法 为 实现 7, 8, 9H 

某 个 特定 的 人 脸 结 构 和 动画 ， 则 需要 大 量 的 参数 调整 W: 虚线 和 直线 均 表明 了 节点 之 癌 的 

和 精确 的 建 模 。 伪 肌肉 变形 方法 忽略 脸 部 复杂 的 生理 弹性 网 格 连接 。 

结构 ， 通 过 变形 脸 部 网 格 来 模拟 脸 部 肌肉 变形 而 实现 人 脸 动画 ， 可 以 作为 基于 肌肉 的 物理 方 











法 的 替代 方法 。 这 里 的 肌肉 变形 可 以 是 全 局 变形 ， 也 可 是 发 生 在 脸 部 网 格 的 一 个 相对 小 的 区 
域内 的 局 部 变形 。 变 形 的 方法 有 基于 样 条 的 、 基 于 自由 变形 的 等 。 
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自由 变形 方法 : 通过 控制 分 布 在 三 维 立体 机 格 上 的 控制 点 来 变形 体 对 象 ， 即 把 一 个 可 变 
形体 放 在 一 个 可 变形 的 、 包 含 3D 控制 点 机 格 的 控制 框架 内 。 当 控制 框架 被 任意 地 挤 压 、 弯 
曲 、 扭 曲 时 ， 控 制 框架 内 部 的 变形 体 也 相应 地 变形 ， 如 图 7-11 所 示 。 自 由 变形 既 可 以 实现 
局 部 变形 ， 也 可 实现 整体 变形 ， 同 时 还 可 以 控制 变形 前 后 物体 体积 的 变化 程度 。 自 由 变形 方 
法 的 缺点 是 计算 量 大 、 网 格 的 调整 非常 麻烦 ， 为 获得 合适 的 物理 形状 ， 需 要 仔细 地 选择 和 移 
动 许多 控制 点 。 其 主要 的 改进 方法 有 直接 控制 的 基于 加 权 狄 里 克利 的 自由 变形 造型 
(DFFD) 、 有 理 自由 变形 技术 (RFFD) 、 基 于 NURBS 的 自由 变形 技术 等 。 

用 样 条 实现 的 伪 肌 肉 变形 方法 : 
一 个 理想 的 脸 部 模型 应 该 有 一 个 支持 
平滑 和 灵活 变形 的 表面 。 样 条 肌肉 模 
型 为 此 提供 了 一 个 很 好 的 解决 办 法 。 
样 条 通常 有 C 的 连续 性 ， 因 此 一 个 小 
面 片 可 确保 是 平滑 的 且 人 允许 局 部 变形 。 
进一步 ， 仿 射 变换 能 够 通过 一 小 部 分 控制 点 的 变形 来 定义 ， 而 无 须 通 过 整个 网 格 点 来 定义 ， 
这 就 降低 了 计算 的 复杂 性 。 一 个 分 层 的 样 条 模型 减少 了 一 些 不 必要 的 控制 点 的 个 数 。 
Wangl5 等 显示 了 一 个 将 分 层 样 条 模型 与 基于 区 域 表 面 变形 的 模拟 肌肉 模型 相 结合 的 系统 。 
之 所 以 使 用 双 立 方 B 样 条 是 因 其 提供 平滑 性 和 弹性 ， 而 这 些 特点 是 传统 的 多 边 形 模型 很 难 
达到 的 。 然 而 ， 当 要 求 一 个 变形 比 patch ( 面 片 ) 解决 方案 更 加 完善 时 ， 对 复杂 表面 使 用 原 
始 的 B 样 条 的 缺点 显而易见 。 为 了 产生 更 好 的 patch 方法 ， 表 面 的 一 整 行 或 一 整 列 需要 被 复 
分 。 这 样 ， 可 以 加 入 更 多 的 细节 (和 更 多 的 控制 点 ) 。 对 比 而 言 ， 分 层 样 条 提供 了 对 B 样 条 
表面 区 域 的 完善 ， 而 只 在 一 个 特定 的 区 域内 加 入 新 的 patch ( 见 图 7-12) 。 分 层 B 样 条 是 一 
种 经 济 且 简便 的 表示 样 条 平面 且 获 得 高 演 染 速度 的 方法 。 带 有 分 层 样 条 表面 的 肌肉 可 以 产生 
带 有 宰 皱 的 皮肤 表面 以 及 各 种 面部 表情 。 
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图 7-11 自由 变形 方法 













































































a 0 控制 点 
a ” 新 产生 的 控制 点 


e 
LL 提取 的 面 片 





图 7-12 控制 点 的 表面 和 4 条 路 径 
a) 显示 了 一 个 具有 16 个 路 径 、49 个 控制 点 的 表面 b) 显示 了 中 间 定 义 的 4 条 路 径 




















7) 表演 驱动 法 ”表演 驱动 (Performance to Driven) 法 又 称 为 表情 映射 (Expression 
Mapping) 法 ， 也 是 一 种 流行 的 脸 部 动画 方法 。 此 方法 捕捉 在 各 种 面部 表情 下 真实 人 脸 部 的 
寺 征 来 驱动 脸 部 模型 而 产生 真实 的 脸 部 表情 。 常 用 的 方法 是 在 一 个 演员 的 脸 上 设置 许多 特征 
点 ， 在 演员 表演 各 种 面部 表情 时 ， 捕 捉 这 些 特征 点 的 运动 向 量 ， 然 后 使 用 所 得 到 的 特征 点 的 
运动 向 量 来 驱动 脸 部 模型 的 相应 特征 点 而 产生 脸 部 表情 。 它 提供 了 一 种 直观 和 有 效 的 方式 直 
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接 控制 脸 部 表情 的 产生 。 动 态 轮廓 模型 (Snake) 和 交流 跟踪 (Optical Flow Tracking) 的 技 
术 常 被 用 来 获取 脸 部 的 特征 变化 。 这 种 方法 可 以 和 MPEG4 (运动 图 像 专家 组 4) 标准 相 结 
合 产生 脸 部 动画 ， 并 能 提高 数据 的 压缩 率 。 这 种 方法 的 缺点 是 ， 它 仅仅 捕 提 了 脸 部 特征 的 几 
何 变化 ， 而 忽视 了 光照 的 变化 ， 因 此 可 能 引入 不 真实 的 效果 ， 而 且 此 方法 不 能 产生 类 似 皱 纹 
等 脸 部 表情 细节 。 

8) Morphing 方法 “Morphing (ZÆ) 方法 实现 两 个 指定 图 像 和 模型 之 间 的 变形 转换 。 
首先 ， 在 两 个 图 像 或 模型 上 确定 一 套 特 征 点 集 ; 然后 用 映射 函数 确定 两 个 目标 对 象 之 间 特 征 
点 集 的 相应 特征 点 的 点 对 点 的 对 应 关系 ; 接着 用 Warpping 号 数 确定 中 间 图 像 的 特征 点 的 2D 
和 3D 位 置 或 纹理 空间 的 坐标 值 ; 最后， 使 用 离散 点 插值 函数 产生 其 他 非特 征 点 的 顶点 的 2D 
和 3D 位 置 或 纹理 空间 的 坐标 值 。Morphing 方法 有 2D 图像 Morphing 方法 、 视 点 Morphing 方 
法 和 3D Morphing 方法 。 从 图 像 真 实 性 出 发 ，2D 图 像 Morphing 能 够 产生 真实 的 脸 部 表情 图 
像 。 但 是 2D 图 像 Morphing 的 缺点 是 ， 它 要 求 确 定 特征 点 之 间 的 点 对 点 的 对 应 关系 ; 其 次 ， 
2D 图 像 Morphing 没有 考虑 对 视点 和 对 象 姿势 变化 的 处 理 ， 真 实 的 头 部 运动 无 法 实现 。 当 视 
点 和 姿势 发 生变 化 时 ， 产 生 不 真实 的 脸 部 表情 图 像 。 为 了 克服 2D 图 像 Morphing 的 限制 ， 
Pighin'') 4 J 2D 图 像 Morphing 和 几何 模型 的 3D 变形 相 结合 而 实现 3D Morphing。 他 们 用 
3D 几何 插值 来 实现 脸 部 表情 之 间 的 变化 , 用 2D 图 像 Morphing 实现 对 应 的 纹理 图 像 的 变 
化 。 


7.3 ”虚拟 数字 人 的 发 展 方向 


虚拟 数字 人 技术 的 现 有 研究 还 很 初步 ， 以 下 几 个 研究 方向 值得 注意 

1) 计算 机 图 形 硬 件 技术 的 飞速 发 展 ， 尤 其 是 可 编程 图 形 加 速 卡 的 出 现 ， 为 实现 计算 机 
人 脸 动 画 在 实时 运行 的 同时 具有 高 度 真实 感 提供 了 一 种 可 能 ， 将 脸 部 动画 的 建 模 用 C 语言 
在 可 编程 图 形 卡 上 实现 ,将 是 一 个 有 意义 的 方向 。 

2) 根据 人 脸 表情 产生 的 生理 和 心理 原因 ， 利 用 人 工 智 能 和 神经 网 络 的 算法 来 实现 人 脸 
动画 的 自动 化 生成 ， 尽 量 减少 人 工 的 介入 。 

3 ) 对 基于 图 像 的 人 脸 建 模 、3D Morphing 的 进一步 研究 。 

4) 对 于 脸 部 表情 纹理 的 光照 变化 和 细节 变化 的 处 理 。 

本 市 主 要 是 结合 2) 、3) 两 个 研究 方向 进行 介绍 。 

随 着 多 媒体 技术 、 虚 拟 现 实 技术 等 日 益 广泛 的 应 用 ， 如 何 对 人 的 脸 部 表情 用 比较 简单 的 
方法 进行 合成 ， 也 成 为 人 们 关心 的 问题 。 例 如 在 用 计算 机 图 形 法 制作 影像 节目 时 ， 以 及 电视 
电话 中 显示 对 方 的 形象 时 ， 都 会 遇 到 脸 部 表情 的 表示 问题 。 如 果 不 加 任何 处 理 ， 照 原样 表 
示 ， 就 会 遇 到 信息 量 大 的 问题 ， 使 得 响应 速度 慢 、 对 硬件 的 要 求 高 。 

因此 ， 人 们 便 设 法 将 脸 部 的 表情 分 解 为 若干 基本 单元 ， 改 变 这 些 单元 的 某 儿 个 便 可 改变 
表情 ， 使 处 理 过 程 大 为 简单 化 。 例 如 ， 在 电视 电话 中 ， 如 果 把 脸 部 照片 先 登 录 在 发 送 方 和 接 
收 方 ， 继 而 只 需 对 这 一 脸 部 动作 和 表情 变化 部 分 有 关 的 奉 干 单元 ， 通 过 符号 化 的 方法 发 送出 
去 。 这 样 在 图 像 通信 时 要 传送 的 信息 就 少 得 多 ， 因 而 也 就 容易 得 多 。 这 样 的 符号 化 ， 被 称 为 
?能 的 图 像 符号 化 。 为 了 实现 这 样 的 系统 ， 需 要 自动 地 分 析 脸 部 表情 的 参数 ， 以 及 根据 这 些 
参数 能 自动 地 合成 表情 丰富 的 脸 部 图 像 的 技术 。 
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1. 脸 部 表情 的 研究 

对 脸 部 表情 的 研究 可 以 用 于 以 下 四 个 方面 。 

1) 用 于 识别 某 个 人 。 这 也 叫 作 脸 部 模式 识别 。 例 如 ， 大 楼 的 进出 管理 ， 可 使 用 “ 脸 部 
通行 证 ” 。 通 过 电视 摄像 机 把 进出 大 楼 的 人 脸 部 拍摄 下 来 ， 计 算 机 便 能 识别 出 每 一 个 人 。 因 
此 ， 使 用 “ 脸 部 通行 证 ”将 非常 可 靠 、 方 便 。 这 种 脸 部 模式 识别 ， 使 得 识别 某 个 人 能 够 实 
现 自 动 化 ， 它 正和 指纹 识别 、 眼 底 网 膜 识 别 等 一 样 ， 得 到 大 力 研 究 。 在 这 里 ， 主 要 的 困难 是 
有 一 些 干扰 的 因素 (噪声 ) 会 作用 在 人 的 固有 脸 部 形态 及 表情 变化 上 ， 使 问题 变 得 复杂 。 

2) 可 以 用 作 人 同 计算 机 交往 的 界面 ， 就 是 说 使 计算 机 能 够 看 人 的 脸色 行事 。 目 前 ， 利 
用 声音 识别 、 合 成 进行 输出 入 的 技术 ， 作 为 人 同 计算 机 交往 的 界面 ， 也 就 是 通过 讲话 来 使 用 
计算 机 ， 正 受到 人 们 的 关注 。 但 是 仅仅 做 到 这 一 点 还 是 不 够 的 ， 因 为 在 人 同人 的 交往 中 ， 不 
仅 听 对 方 讲话 ， 还 要 看 对 方 脸 色 ， 来 判断 对 方 心里 真 的 在 想 什么 。 目 前 正在 研究 不 仅 是 声音 
而 且 还 需要 同 其 脸 部 的 图 像 合成 ， 以 便 使 得 人 们 可 以 通过 电视 电话 来 和 计算 机 对 话 。 此 外 ， 
还 在 设法 把 计算 机 内 部 状态 转换 成 脸 部 表情 而 表现 出 来 。 就 是 说 ， 使 人 能 够 形象 地 了 解 计算 
PLE “BR, BL OR”. 

3) 通过 脸 部 表情 参数 化 来 实现 智能 图 像 符号 化 。 这 就 为 减少 表现 脸 部 图 像 所 需 的 信 
息 ， 将 脸 部 表情 加 以 分 析 ， 使 其 能 用 有 限 的 参数 来 表示 。 这 样 ， 脸 部 图 像 也 就 能 够 用 有 限 的 
号 来 表示 了 。 除 了 表现 出 脸 部 的 构造 和 形态 外 ， 还 能 表现 出 表情 这 一 重要 信息 。 

4) 在 计算 机 图 形 学 中 研究 脸 部 图 像 合成 。 在 计算 机 图 形 学 领域 ， 自 然 脸 孔 同 表 情 的 合 
成 ， 最 近 正 成 为 热点 课题 。 以 前 为 合成 脸 孔 图 像 受 到 技术 上 的 限制 ， 而 最 近 随 着 对 脸 部 表情 
分 析 和 合成 方面 取得 的 进展 ， 使 得 人 们 甚至 能 够 对 历史 上 著名 人 物 进行 脸 孔 的 表情 合成 。 

2. 脸 部 表情 的 合成 和 分 析 d 

在 进行 智能 的 图 像 符 号 化 时 ， 先 把 脸 部 的 构造 模 
型 作为 发 送 方 和 接收 方 共有 的 知识 ， 就 像 前 面 所 说 的 
先 把 对 话 者 的 照片 登录 在 电视 电话 的 接收 方 和 发 送 
方 。 通 常用 三 维 的 线 框 模 型 ， 例 如 像 灯 笼 一 样 的 骨 
架 ， 作 为 这 种 构造 模型 ( 见 图 7-13 ) 。 本 节 第 一 步 即 
采用 这 种 构造 模型 ， 通 过 把 脸 部 照片 进行 投影 ， 一 点 
一 点 地 往 上 骨架 上 贴 ， 就 可 以 生成 具有 浓淡 对 比 ( 像 黑 i 
白 照片 那样 ) 的 脸 部 图 像 。 图 7-13 ” 脸 部 和 头 部 形状 

只 要 一 次 制 成 这 种 模型 ， 便 容易 合成 从 任何 方向 的 线 框架 模型 
看 过 去 的 脸 部 图 像 。 以 前 的 研究 人 员 曾 经 用 这 样 的 方法 合成 了 达 芬 奇 笔 下 的 蒙 娜 丽 莎 的 脸 部 
图 像 ， 如 图 7-14 所 示 。 

如 果 在 这 样 的 脸 部 三 维 模型 基础 上 ， 加 上 基于 表情 参数 产生 的 变形 ， 便 可 获得 一 系列 有 
表情 变化 的 脸 部 图 像 。 目 前 ， 有 以 下 两 种 表情 合成 和 分 析 方 法 得 到 使 用 。 

1) 通过 特征 点 的 移动 来 合成 、 分 析 表 情 。 这 一 方法 是 利用 表情 参数 使 线 框架 模型 的 形 
状 变形 来 合成 表情 的 。 问 题 在 于 如 何 定义 表情 参数 。 人 的 表情 系 通 过 脸 部 肌肉 的 伸缩 而 形成 
的 。 然 而 ， 无 法 从 外 部 来 观察 肌肉 的 伸缩 。 直 接 分 析 这 种 参数 几乎 是 不 可 能 的 。 因 此 智能 地 
从 外 部 能 够 看 到 的 脸 部 特征 点 动作 (例如 有 眼 稍 的 动作 ) 来 定义 脸 部 表情 参数 。 这 种 FACS 
( 脸 部 表情 编码 系统 ) 法 原先 是 用 在 心理 学 和 精神 病理 学 领域 ， 医 生 为 了 从 患者 脸 部 表情 来 
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判定 其 心理 状态 和 健康 状态 而 开发 出 来 的 一 种 方法 ,但 在 智能 图 像 符 号 化 和 图 形 学 中 也 可 用 
它 作 为 合成 表情 时 的 规范 。 就 是 说 ， 如 果 能 够 用 FACS 中 的 各 种 AU 在 三 维 线 框架 模型 上 进 
行 表 现 ， 那 么 便 能 够 有 效 地 合成 任意 表情 。 图 7-12 便 是 在 三 维 线 框架 模型 上 ， 用 AU + 12 + 


26 合成 蒙 娜 丽水 表情 的 例子 。 





a) 














b) 





Al 7-14 


蒙 娜 丽水 脸 部 的 图 像 合 成 
a) 原 图 像 b) 侧面 的 合成 图 像 





正在 实验 的 一 种 方法 是 FACS 法 。 这 是 在 心理 学 领域 对 脸 部 表情 系统 进行 记述 的 方法 。 
它 把 人 的 脸 部 动作 分 解 成 44 种 称 为 AU (动作 单位 ) 的 基本 动作 ( 见 表 7-1)。 各 个 AU 可 








以 根据 脸 部 的 特点 了 予以 定义 ， 也 可 以 从 解剖 学 角度 考虑 系 由 一 个 或 几 个 肌肉 收缩 、 松 弛 所 引 
起 的 。 于 是 ， 所 有 表情 都 可 以 用 AU 的 组 合 来 表示 。 针 对 每 种 表情 的 描述 ， 可 以 将 它 拆 成 若 
干 个 动作 单元 的 组 合 。 当 然 ， 这 是 在 忽略 了 许多 表情 变化 细节 的 基础 上 做 出 的 ， 只 是 近似 地 


反映 了 每 种 表情 的 特点 。 例 如 


悲伤 = AU1 + AUIS 惊奇 = AU26 + AU1 


表 7-1 已 分 解 出 来 的 AU 清 


厌恶 = AU12 +AU4 + AU9 









































































































































编号 AU 内 容 编号 AU 内 容 
1 眉 内 侧 往 上 20 横向 拉 开 展 两 端 
2 眉 外 侧 往 上 23 Ala 
4 Ja Fae 24 EAE AS EB 
5 上 眼 瞪 往 上 25 不 垂下 络 部 而 开展 
6 Hi (脸蛋 ) 抬 起 26 HE PB TITS 
7 REIZ 27 张大 嘴巴 
8 上 下 层 靠 近 28 吸入 层 部 
9 皱 起 里子 29 FE thy F 
10 ESRA 30 EEA IE 
11 TRAYS 32 FAA BEETS 
12 EJE BY) ag 35 ETI A 
13 GEA LES a 41 不 使 劲 放下 上 眼 瞪 
14 生成 酒窝 42 RG A A 
15 FE PB Pa sing 43 闭 眼 
16 BOE NS 44 稍 睁 开眼 
17 E FB Sil 46 RIRE FE 
18 IRAE 48 ERE 
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现在 ， 东 京 大 学 的 一 个 研究 室 已 经 能 够 对 表 7-1 所 列 44 种 AU 中 的 33 种 在 计算 机 上 表 
现 出 来 。 通 过 对 这 些 AU 进行 组 合 ， 能 够 合成 对 应 于 人 基本 感情 的 表现 ， 如 与 、 笑 、 冷 漠 
等 。 图 7-16 便 是 利用 AU 参数 使 其 变化 而 得 到 的 有 表情 的 图 像 。 脸 部 表情 的 分 析 也 就 是 从 
给 出 的 脸 部 抽象 中 抽出 AU 参数 的 过 程 ， 可 以 说 是 合成 的 逆 过 程 。 就 是 说 ， 从 给 出 的 脸 部 图 
像 中 抽出 特征 点 , 沿 着 上 述 合 成 过 程 相反 的 步骤 ， 抽 出 脸 部 表情 参数 。 用 抽出 的 参数 重新 合 
成 脸 部 表情 ， 再 同 原来 脸 部 图 像 进 行 比 较 ， 便 可 评价 抽出 的 精度 如 何 。 结 合 前 面 叙 述 的 介 
绍 ， 本 节 在 以 后 的 三 维 人 脸 建 模 过 程 中 ， 将 采用 参数 法 中 基于 PACS 的 特征 点 移动 的 方法 。 

2) 通过 基本 表情 组 合 来 合成 、 分 析 表 情 。 在 心理 学 领域 , 把 人 的 基本 表情 分 为 惊讶 、 
恐怖 、 嫌 恶 、 愤 怒 、 欣 喜 、 悲 痛 六 种 。 因 此 如 果 预 先 准备 好 这 六 种 脸 部 图 像 ， 对 其 进行 重重 
合成 ， 就 能 合成 出 介 于 中 间 表 情 的 脸 部 图 像 。 例 如 ， 把 “ 笑 KE)” A SSR (悲痛 )” 合 
成 ， 便 出 现 中 间 的 表情 “ 含 泪 的 笑 " 。 利 用 动画 中 的 合并 平均 记述 ， 已 经 合成 出 这 样 的 介 于 
山 和 笑 之 间 的 表情 。 由 于 利用 这 种 方法 不 仅 可 得 到 脸 部 表情 ， 而 且 可 得 到 不 同 于 许多 人 的 脸 
部 图 像 ， 因 此 还 可 用 它 合成 介 于 两 个 人 中 间 的 脸 部 图 像 。 

一 个 完整 的 面部 表情 的 产生 过 程 被 分 为 四 个 阶段 : 酝酿 、 渐 变 、 保 持 和 复原 。 在 每 一 阶 
段 ， 肌 肉 都 有 不 同 的 运动 特点 ， 从 而 有 着 不 同 的 加 速度 。 在 这 个 实时 系统 中 ， 并 不 需要 关心 
肌肉 向 量 在 这 四 个 阶段 中 每 一 时 刻 的 状态 和 由 于 它们 的 伸缩 而 对 皮肤 产生 弹力 的 具体 大 小 。 
图 7-15 是 一 个 具体 的 控制 基本 表情 变化 的 分 级 模型 。 


变形 | 带 有 基本 表情 的 | 可 视 化 算 
基本 表情 | 人 名 动作 单元 H] izes | 2” aa 
ZE DA 


图 7-15 控制 基本 表情 变化 的 分 级 模型 









































实际 上 ， 实 时 性 要 求 对 于 每 一 表情 的 变化 只 需 提供 一 帧 变化 后 的 表情 ， 而 不 是 多 帧 中 间 
过 程 的 顺序 播放 。 因 此 在 动态 模型 中 ， 肌 肉 的 伸缩 可 以 用 调整 人 脸 特 征 点 坐标 来 模拟 。 每 种 
肌肉 向 量 的 伸缩 变化 反映 在 人 脸 特 征 点 位 置 的 变化 上 ， 并 传播 到 皮肤 表面 它 所 作用 区 域 的 网 
格 点 上 ， 图 7-16 显示 的 是 包括 中 性 表情 在 内 的 六 种 基本 表情 的 三 维 人 脸 合 成 图 像 。 
































中 性 表情 生气 


图 7-16 ”基于 六 种 基本 表情 的 三 维 人 脸 合 成 


7.4 情感 虚拟 人 系统 


在 本 节 中 ， 将 介绍 情感 虚拟 人 的 结构 。 图 7-17 显示 了 系统 中 的 各 部 分 ， 以 及 它们 之 间 
的 交互 关系 。 对 于 表情 的 个 性 化 体现 ,使 用 MPEG-4 和 应 用 人 脸 动 画 参 数 (FAP) 的 实时 人 




















脸 动画 系统 。 

对 于 未 来 的 人 机 交互 系统 ， 可 以 考虑 
采用 会 话机 器 人 的 形式 ， 例 如 Chat-robot ee 
ALICE (聊天 机 器 人 ALICE), ALICE 使 用 IMIR 
人 工 智 能 标记 语言 (AIML) ， 这 是 一 种 基 ap PrE 
于 XML 的 语言 ， 可 以 定义 一 个 对 话 数据 Bere 


库 。 如 果 首先 定义 了 AML 数据 库 ， 以 后 
就 可 以 尝试 将 情感 标签 (Tag) 植 人 到 回 
答 中 。 每 一 个 情感 标签 都 被 赋予 一 个 概率 
值 。 这 些 情感 的 标签 被 传送 到 BBN 的 个 性 
化 模型 上 。 而 此 个 性 化 模型 ,依赖 于 现 有 
的 情绪 和 输入 的 情感 标签 来 更 新 情绪 。 因 
为 情绪 随 着 时 间 的 转移 是 相对 稳定 的 ， 这 
种 情绪 的 转换 不 是 一 个 频繁 的 任务 。 根 据 

个 性 化 模型 的 输出 ， 对 情绪 进行 处 理 后 决 
定 下 一 个 情感 状态 。 这 种 处 理 过 程 决定 了 ao 
可 能 出 现 的 情感 状态 的 概率 。 虽 然 系统 在 和 
对 话 中 使 用 了 情感 标签 来 改变 基于 情绪 和 个 性 化 的 情感 ， 但 是 仍旧 可 以 将 模型 与 情感 推理 机 
(Emotion Reasoner) 联系 起 来 。 此 情感 推理 机 可 以 对 情感 的 评估 提供 类 似 的 标签 。 个 性 化 模 
型 和 情绪 模型 可 以 脱离 于 得 到 它们 的 过 程 来 处 理 情感 标签 。 同 步 模 块 (Synchronization Mod- 
ule) 分 析 了 前 一 个 可 视 的 人 脸 表 情 和 情绪 处 理 过 程 的 输出 概率 。 这 决定 了 表情 将 以 合适 的 
时 间 包 络 (Time Envelopes) 来 演 染 。 同 样 ， 就 可 以 得 到 来 自 于 视 位 的 层 部 运动 ， 而 唇 部 的 
运动 是 由 从 文本 到 语音 引擎 (Text to Speech Engine, TTS engine) 产生 的 。 最 后 ， 系 统 将 各 
函数 功能 进行 组 合 ， 从 而 输出 脸 部 动画 参数 ,来 描述 “ 带 有 表情 的 对 话 ”。 我 们 使 用 参考 文 
献 [22] 中 描述 的 技术 来 进行 研究 。 一 个 独立 的 脸 部 动画 模块 可 以 将 语音 翻译 成 同步 中 的 
FAP。 


7.4.1 文本 处 理 和 回答 的 产生 


为 了 模拟 合理 个 性 化 ， 我 们 使 用 一 个 对 话机 器 人 ALICE, ALICE 是 一 个 由 ALICE AI 基 
金 支持 的 开源 项 目 。ALICE 使 用 AIML 来 维护 存 有 可 能 的 用 户 输入 的 数据 库 。 用 户 的 输入 要 
符合 AML 的 条 目 ， 这 样 一 个 相关 的 回答 就 产生 了 。 最 简单 的 AIML 条 目 如 下 所 示 : 

< category > 

< pattern > 你 叫 什么 名 字 ( What is your name)? </pattern > 

< template > 我 叫 爱 丽 丝 ， 很 高 兴 见 到 你 (My name is ALICE, nice to meet you!) </tem- 





到 对 话 表情 处 理 
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plate > 

< category > 

所 有 的 AIML 分 类 并 不 是 基于 例子 中 的 死板 的 匹配 。AIML 使 用 了 不 同 的 标签 来 引入 回 
答 中 的 随机 性 ， 记 录 有 限 的 对 话 历 史 ， 同 时 也 允许 象征 性 地 删除 。 虽 然 AIML 不 使 用 任何 依 
据 造句 规则 或 是 语义 的 语言 分 析 技 术 ， 嵌 入 AML 中 的 特性 使 ALICE 看 起 来 绝 不 仅仅 像 一 个 
基于 一 系列 可 能 输入 和 回答 的 模式 匹配 程序 。 这 可 以 让 用 户 处 于 具有 一 定 可 信和 度 的 对 话 中 。 
虽然 设计 AIML 的 初衷 仅仅 是 为 了 完善 一 个 对 话 应 用 ，AIML 也 可 以 解决 一 些 来 自 于 用 户 的 
村 定 领域 的 问题 ， 例 如 一 个 销售 员 或 是 一 个 虚拟 接待 员 。 

可 以 注意 到 ， 当 前 自然 语言 处 理 的 状态 不 能 很 方便 地 把 对 话 和 情感 联系 到 一 起 。 这 样 ， 
将 AIML 扩展 到 可 以 在 回答 中 包括 情感 标签 。 这 些 标 签 本 质 上 代表 了 虚拟 人 可 能 的 情感 状 
态 。 现 在 我 们 使 用 前 面 叙 述 中 介绍 的 24 个 情感 标签 。 我 们 很 容易 扩展 现 有 的 列表 。 引 入 无 
WI (Bored) 、 思 索 (Thinking), HT (Frustration) 作为 新 的 标签 是 非常 有 益 的 ， 这 些 标签 
可 以 分 别 隶 属于 悲伤 、 中 性 和 生气 的 表情 分 类 里 。 考 虑 一 个 特定 的 回答 “我 最 近 很 已 (1am 
very busy nowadays)”。 这 人 名 回答 可 以 被 赋予 骄傲 或 是 悲伤 的 情绪 。 这 样 ， 可 以 将 概率 值 赋 给 
这 些 可 能 的 情感 。 对 于 这 人 句 话 ， 将 骄傲 的 概率 设 为 30% ， 将 悲伤 的 概率 设 为 70% 。 相 关 的 
AIML 分 类 如 下 所 示 : 

<category > 

< pattern > 你 在 做 什么 (What are you doing)? </pattern > 

< template > < emo name ="pride” prob ="30" > < emo name = "distress" prob ="70" > 我 最 近 
































很 忙 (I am very busy nowadays). </template > 

</category > 

情感 标签 的 引入 并 不 是 一 个 繁琐 的 任务 ， 根 据 回 答 语 句 的 含义 ， 设 想 不 同 的 情景 产生 不 
同 的 情感 是 必需 的 。 一 种 回答 比如 “很 高 兴 听 你 这 么 说 (1 am happy to hear that) ”几乎 可 
以 赋予 100% 高 兴 的 概率 。 这 就 可 以 保证 ， 高 兴 作 为 一 种 具有 更 高 概率 的 可 能 结果 ， 最 终 经 
过 情感 处 理 而 表现 出 来 。 接 下 来 ， 我 们 就 可 以 解释 这 些 标签 及 其 相关 的 概率 是 如 何 根据 个 性 
化 和 情绪 模型 来 处 理 的 ， 从 而 最 终 产 生 一 定 的 情感 状态 。 

为 了 给 每 一 个 标签 引入 可 能 的 回答 ， 可 以 考虑 在 将 来 的 系统 中 设计 一 个 交互 工具 。 这 个 
工具 应 该 做 到 很 便捷 ， 并 且 迅 速 地 设计 出 情感 AIML。 为 了 提高 对 话 的 自然 程度 ， 也 可 以 考 
BX AIML 进行 进一步 的 改动 。 在 建立 AIML 数据 库 时 ， 不 需要 对 一 个 单一 的 回答 赋予 不 同 
的 情感 ， 而 是 应 该 将 重点 放 在 输入 带 有 不 同情 感 的 不 同 回答 。 举 例 说 明 ， 一 个 典型 的 经 过 修 
改 的 AIML 分 类 如 下 所 示 : 


<category > 












































< pattern > 你 最 近 怎 么 样 ( How are you)? </pattern > 

< template > 

< emo name =” 高 兴 (joy)”prob ="50" res = ”我 很 好 ,谢谢 (I am fine ,thank you).”> 
< emo name = "悲伤 (sadness)”prob =”50” res = "不 太 好 (Not so good today) 以 > 
</template > 


</category > 


个 性 化 和 情绪 处 理 模块 将 对 此 情感 标签 进行 处 理 。 这 样 ， 处 理 的 过 程 不 仅 可 以 产生 一 种 
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合适 的 情感 ， 同 时 也 可 以 产生 一 种 与 该 情感 相关 的 回答 。 将 来 ， 可 以 考虑 用 一 种 更 复杂 的 语 
言 分 析 模块 来 替代 ALICE。 这 样 的 模块 应 该 可 以 根据 语义 、 上 下 文 以 及 对 话 历史 ， 以 更 加 连 
贯 的 方式 来 产生 情感 标签 。 


7.4.2 ”应 用 贝 叶 斯 网 络 进行 个 性 化 建 模 


外 向 的 、 令 人 愉快 的 、 并 慎 的 、 神 经 质 的 、 直 率 的 五 个 因素 组 成 了 个 性 化 空间 的 纬度 ， 
这 样 就 有 可 能 根据 这 些 纬度 的 线性 组 合 设 计 出 任何 一 种 个 性 。 下 面 将 介绍 如 何 使 用 BBN 进 
行 个 性 化 建 模 。 图 7-18 显示 了 我 们 使 用 的 BBN 模型 。 这 是 一 个 简单 的 包括 两 个 母 节 点 和 一 
个 子 节 点 的 结构 。 

对 于 个 性 化 中 的 每 一 个 基本 因素 建立 一 
个 BBN。 用 户 可 以 指定 对 这 5 个 因素 或 少 于 
5 个 因素 进行 期 望 的 组 合 。 举 例 而 言 ， 可 以 
建立 这 样 一 种 个 性 化 : 其 中 30% 是 神经 质 
的 性 格 ，70% 是 外 向 的 性 格 。 可 以 组 合 相 关 
的 先 验 概率 和 转换 概率 值 ， 并 对 其 进行 标准 
化 ， 从 而 产生 期 望 的 个 性 化 模型 。 

“当前 的 情绪 ”( 表示 为 m.) 和 “回答 的 
情绪 ” (表示 为 m,) 可 以 取 三 个 可 能 的 值 ， 好 
(Good)、 坏 (Bad) 或 一 般 ( Neutral) , pret 

m,, m,€[good, neutral, bad | 

m, 的 初始 值 可 以 根据 个 性 化 的 设计 来 
决定 。m, 只 是 从 产生 回答 的 模块 的 输出 中 提取 出 的 情感 标签 分 类 。m, 的 默认 值 可 以 定义 为 
中 立 (Neutral) 。 例 如 ， 骄 做 和 悲伤 分 别 对 应 于 好 和 坏 的 情绪 。 

个 性 化 模型 表示 为 +， 有 不 同 的 转换 概率 值 来 决定 下 一 个 状态 的 情绪 是 如 何 被 选择 的 。 
这 些 概率 值 反 映 了 情感 的 心理 学 过 程 。 想 象 一 个 人 在 消极 的 情绪 状态 下 看 见 了 他 的 同事 。 如 
果 他 的 本 质 是 令 人 愉快 的 ， 他 会 倾向 于 很 快 进入 一 种 积极 的 情绪 状态 ， 当 然 前 提 假 设 是 ， 两 
人 之 间 首 先进 行 的 是 问候 和 愉快 的 话题 。 这 样 一 个 人 的 情绪 可 以 被 对 话 状 态 以 及 自身 的 个 性 
所 有 影响。 正如 BBN 结构 所 提出 的 ， 在 对 话 中 ,一 个 人 可 以 很 轻松 地 决定 其 个 性 将 如 何 有 影响 
情绪 中 的 变换 。 带 有 转换 概率 和 先 验 概率 P(e;) 的 简单 贝 叶 斯 计算 给 出 了 情绪 转换 的 可 能 
性 。 计 算 情 绪 转 换 的 概率 ， 从 而 得 到 舱 入 对 话 中 的 任何 一 种 可 能 的 情感 如 下 所 示 : 


for each emotion e; in response 



































图 7-18 个 性 化 建 模 



































m, = mood corresponding to e, 

for each possible mood m, 

P(m,) =BBN(m,,m,,7) =P(m,/m,,m,) P(e,) 
这 里 ，P(m,/m,，m,) 为 每 一 种 个 性 模型 7 定义 了 情绪 变化 的 条 件 概率 。 由 情感 引起 的 较 高 
值 的 概率 Pm, ) 作 为 一 个 被 选 值 来 决定 情绪 的 改变 。 例 如 ,为 了 估计 改变 的 情绪 ,计算 下 
一 个 情绪 的 P( good) 、P(neutral) 和 P(bad)， 并 使 用 值 P(pride) =0.3、P(distress) =0.7 及 
模型 中 的 转换 概率 值 。 如 果 回 答 中 的 消极 或 积极 情感 多 于 一 种 ， 将 增加 相关 的 概率 。 

以 后 ， 用 户 可 以 对 情绪 变化 的 概率 设 定 一 个 冰 值 。 如 果 已 (加 ) 比 这 个 阔 值 大 ， 那么 
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m, 可 以 被 选择 为 下 一 个 情绪 状态 ， 否 则 保持 前 一 个 情绪 状态 。 同 样 ， 根 据 对 前 一 个 回答 的 
处 理 ,“ 历 史 状 态 ” 将 保持 情绪 改变 的 概率 。“ 历 史 状 态 ” 将 以 非常 简单 的 规则 来 影响 情绪 
变化 概率 的 决策 。 例 如 ， 假 设 前 一 个 回答 使 情绪 从 积极 变化 到 消极 ， 其 概率 的 值 要 小 于 阔 
值 ， 这 样 情绪 的 变化 并 没有 发 生 。 如 果 下 一 个 回答 引发 了 同样 的 情绪 变化 (从 积极 到 消 
极 ) ， 转 换 的 可 能 性 就 会 增 大 ， 即 使 现在 情绪 变化 的 可 能 性 很 低 。 

选择 情感 标签 [在 我 们 的 例子 中 是 骄傲 (Pride) 和 悲伤 (Distress) ] 的 决策 ， 被 延迟 
到 下 一 个 情感 处 理 过 程 。 然 而 ， 如 果 计 算出 的 下 一 个 情绪 是 积极 的 ， 为 最 后 的 表情 选择 积极 
情感 的 机 会 就 会 增加 ， 即 使 这 种 决策 同样 会 被 现在 的 面部 表情 所 影响 。 情 绪 变 化 的 概率 表示 
了 改变 这 种 情绪 的 难 易 程 度 。 所 以 可 能 出 现 的 情绪 变化 的 概率 值 [m. AP (m,) | 会 被 储 
存在 历史 中 ， 用 来 进行 下 一 次 运算 。 


7.4.3 ”从 情绪 到 情感 的 转换 


一 旦 选择 了 下 一 个 情绪 或 继续 保持 前 一 个 情绪， 必须 选择 情感 状态 、 合 适 的 反应 状态 及 
面部 表情 。 人 情感 状态 由 三 个 因素 决定 AIML 产生 的 回答 (对 应 回答 情绪 ) 、 当 前 情绪 (个 
性 化 模型 的 输出 ，m,) 、 前 一 个 情感 状态 (定义 为 e,)。 在 产生 AML 数据 库 时 ， 在 回答 中 
引入 标签 ， 可 以 很 好 地 控制 第 一 个 因素 。 为 了 把 这 三 个 因素 联系 起 来 ， 为 每 一 种 情绪 都 定义 
了 转换 概率 矩阵 。 这 些 和 矩阵 表明 了 从 一 种 情感 状态 转换 到 另 一 种 情感 状态 的 转换 概率 。 很 明 
显 ， 为 进入 消极 情感 的 消极 情绪 设 定 了 较 高 的 概率 转换 值 。 既 然 我 们 应 用 6 种 基本 表情 作为 
22 种 情感 的 分 类 ， 那 么 矩阵 的 纬度 就 是 7 x7 (6 种 表情 + 中 性 表情 ) 。 这 里 ， 我 们 会 发 现 使 
用 6 种 基本 表情 ， 而 不 是 0CC (Occ, Clore, Collins) 情绪 评价 模型 中 的 22 种 表情 作为 分 类 
的 好 处 。 表 7-2 显示 了 一 个 针对 良好 情绪 状态 下 的 转换 概率 矩阵 。 第 一 列 代表 前 一 个 状态 下 
的 表情 ， 第 一 行 代表 下 一 个 状态 下 的 表情 。 这 样 ， 如 果 当 前 的 表情 输入 高 兴 (Joy) 28, I 
么 下 一 个 表情 是 悲伤 (Sadness) 的 概率 就 是 0. 05。 

表 7-2 ”良好 情绪 的 转换 概率 矩阵 

































































高 兴 生气 悲伤 | tees 中 性 
高 兴 0. 8 0. 1 0.05 | oo 0. 05 
生气 0.6 0. 2 GY | a 0.1 
EG 0.7 0. 05 0.05 | een 0.2 
中 性 0.9 0.0 0.05 | tees 0. 05 





























如 果 将 能 入 回答 的 情感 定义 为 e， 并 且 情 感 可 以 取 24 个 值 中 的 任意 一 个 。P(e,) 定 义 了 
标签 中 的 概率 。 相 关 的 表情 分 类 定义 为 Ex(e,) 下 列 代码 表明 了 对 下 一 个 情感 状态 的 计算 ， 

for each emotion e, in response 

P(e,) = I'm, (Ex(e, ) ,Ex(e,))PCe,) 
HE, Tm, 代表 情绪 m, 的 转换 概率 矩阵 。 对 于 每 一 种 情绪 和 每 一 种 个 性 都 定义 了 这 样 的 转 
换 和 矩阵 。 现 在 根据 直觉 和 对 人 类 情绪 的 通常 理解 来 定义 这 些 概 率 值 。 然 而 ， 让 不 同 的 用 户 对 
系统 进行 测试 ， 可 以 使 我 们 更 好 地 完善 这 些 设 定 值 ， 从 而 产生 令 人 信服 的 结果 。 与 个 性 化 模 








269 


AYR, —SBUEIN RAE Ey ET RPT, ATE FEET Oe, AE BE 
AKT BU, ERPE F, AP RRR ERI, FP a ny De CEE 
感 之 间 出 现 什么 样 的 表情 。 这 样 ， 不 需要 维护 情感 变化 的 历史 。 可 以 采用 概率 的 方法 将 情绪 
处 理 的 过 程 从 情感 处 理 的 过 程 中 分 离 出 来 ， 例 如 在 不 改变 情绪 的 情况 下 改变 情感 ， 在 不 改变 
情感 的 情况 下 改变 情绪 ， 或 者 是 情绪 和 情感 都 需要 改变 ， 这 种 情况 下 ， 需 要 根据 对 话 和 情绪 
历史 来 改变 。 一 系列 的 积极 情绪 将 增加 转换 到 一 个 积极 情绪 的 概率 ， 而 一 个 积极 的 情绪 可 以 
增加 选择 一 个 积极 回答 的 概率 。 


7.4.4 情感 与 表情 的 同步 化 过 程 


如 前 所 述 ， 可 以 将 情感 理解 为 一 种 特定 的 精神 状态 ， 这 种 状态 是 可 以 通过 面部 表情 反映 
出 来 的 。 这 样 ， 可 以 将 情感 状态 直接 影射 到 面部 表情 上 去 。 为 了 提高 真实 感 ， 将 面部 表情 与 
说 话 同 步 化 是 非常 重要 的 。 这 需要 平滑 的 融合 ， 而 不 是 生硬 的 过 渡 。 对 于 带 有 某 种 特定 说 话 
方式 的 情感 ， 需 要 在 说 话 过 程 中 为 这 种 说 话 方式 进行 渲染 。 可 以 考虑 使 用 参考 文献 【23 ， 
24] 中 提 到 的 “上 升 、 保 持 、 衰 减 、 释 放 (ADSR) ”的 控制 模型 来 实现 情感 与 表情 的 同步 
化 过 程 。 需 要 进行 更 多 的 测试 来 提高 真实 感 。 下 列 步 又 概括 了 同步 的 过 程 : 

1) 情绪 模型 可 以 给 出 所 有 可 能 情感 状态 的 概率 。 首 先 分 析 情 绪 模 型 的 输出 。 如 果 最 大 
概率 值 比 次 大 概率 值 高 出 的 程度 小 于 10% ， 并 且 两 个 概率 所 代表 的 情感 属于 同一 种 分 类 
(根据 表 7-2 属于 积极 或 者 消极 ) ， 那 么 需要 使 用 两 种 情感 所 表现 出 的 合成 表情 。 相 关 的 概率 
值 需要 作为 标准 化 的 系数 。 在 以 后 叙述 中 ， 我 们 将 三 维 人 脸 建 模 中 的 表情 合成 、 最 后 的 人 脸 
模型 可 以 通过 不 同 的 参数 控制 脸 部 的 AU 元 素 ， 从 而 合成 不 同 的 面部 表情 ， 而 前 述 提 到 的 标 
准 化 系数 即 可 以 作为 表情 控制 的 参数 。 如 果 情 感 属于 不 同 的 分 类 ， 那 么 直接 选择 具有 最 高 概 
率 值 的 情感 。 

2) 将 被 激活 的 前 一 种 表情 和 当前 的 表情 进行 比较 。 如 果 两 者 属于 不 同 的 分 类 (积极 和 
消极 ) ， 那 么 应 用 “释放 ”过 渡 (允许 不 太 陡峭 的 “上 冲 ” 包 络 ) 过 程 ， 不 会 让 表情 的 变 
化 显得 过 于 突 元 ， 从 而 提高 表情 变化 的 可 信和 度 和 真实 感 。 

3) 最 后 将 两 种 情感 合成 ， 产 生 带 有 视 位 的 FAP。 其 输出 被 送 到 人 脸 动 画 演 染 模型 。 

为 了 提高 真实 感 ， 可 以 考虑 加 入 周期 性 的 人 脸面 部 运动 ， 比 如 肯 眼 、 点 头等 。 在 这 里 ， 
重点 不 是 瞬 眼 、 点 头 和 带 有 话语 的 动作 的 合成 ， 这 些 座 题 在 进行 深入 人 研究 后 可 以 加 入 到 系统 


中 。 
7.4.5 情感 虚拟 人 个 性 化 设计 


ME, 已 经 介绍 了 使 用 的 技术 和 系统 中 描述 的 细节 。 我 们 不 止 一 次 地 提 到 ， 系 统 用 户 可 
以 通过 定义 参数 值 来 设计 不 同 的 模块 。 本 节 将 简要 概括 用 户 可 以 设计 出 系统 的 可 能 性 ， 这 个 
用 户 可 以 是 一 个 情感 学 者 、 一 个 实验 心理 学 家 或 一 个 计算 机 图 形 动画 家 。 系 统 主要 集中 的 情 
感 个 性 化 的 体现 上 。 其 他 几 个 工具 可 以 被 用 来 实现 物理 和 表情 的 个 性 化 。 

1. 个 性 化 参数 

在 进行 个 性 化 定义 的 过 程 中 ， 需 要 对 下 列 参数 进行 的 指定 : 

1)“ 当 前 情绪 ”的 初始 值 ， 通 常设 定 为 中 性 值 。 

2) 对 于 每 一 个 个 性 化 因素 的 BBN ， 需 要 设 定 一 个 条 件 概率 值 。 
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3) 需要 设 定 个 性 化 模型 中 ， 决 定 5 个 因素 如 何 进行 组 合 的 系数 。 

4) 对 于 情绪 变化 的 决策 ， 需 要 设 定 一 个 浆 值 (0 ~ 1) 。 如 果 情 绪 变 化 的 概率 值 高 于 这 
个 靖 值 ， 那 么 情绪 即 发 生变 化 。 

2. 情绪 参数 

与 情绪 相关 的 参数 可 以 由 用 户 设 定 : 

1) 情感 或 人 脸 表 情 ， 通 常设 定 为 中 性 值 。 

2) 应 用 于 积极 、 中 性 和 消极 情绪 的 三 个 转换 概率 和 矩阵。 用 户 可 以 设计 自己 的 和 矩阵， 或 
者 从 预先 设计 的 矩阵 中 进行 选择 。 在 以 后 的 设计 中 ， 这 些 矩 阵 可 以 根据 每 一 种 个 性 化 而 各 不 
相同 。 

3) 决定 是 否 改 变 当前 情感 的 阔 值 (0 ~ 1) 


7.5 基于 三 维 人 脸 建 模 的 人 机 交互 系统 中 情感 虚拟 人 的 设计 与 实现 














7.5.1 情感 虚拟 人 系统 的 总 体 设计 


图 7-19 显示 了 人 机 交互 系统 框图 : 圆 角 框图 为 本 节 所 涉及 内 容 。 本 节 所 述 的 主要 研究 
目标 是 在 和 谐 人 机 交互 体系 涉及 的 用 户 界面 领域 、 实 现 带 有 情感 的 三 维 虚拟 人 系统 、 产 生 友 
好 的 人 机 界面 、 达 到 用 户 可 以 与 具有 情感 的 虚拟 人 进行 初步 的 交互 。 首 先 ， 情 感 虚拟 人 系统 
需要 有 一 个 表现 的 载体 ， 第 一 步 要 构建 三 维 人 脸 模型 ， 这 涉及 许多 领域 的 知识 ， 比 如 图 像 图 
形 处 理 技术 、 三 维 建 模 技术 、 表 情 合成 技术 等 。 而 要 再 赋予 它 以 情感 ， 又 要 进一步 涉及 情感 
计算 、 心 理学 、 生 理学 及 信息 科学 等 领域 的 理论 和 方法 。 这 是 一 项 非常 庞大 和 复杂 的 研究 工 
作 。 

情感 虚拟 人 系统 的 总 体 设 计 是 根据 以 人 为 中 心 的 原则 ， 使 用 户 界面 设计 更 加 友好 、 更 利 
于 用 户 的 交流 而 进行 的 。 人 机 交互 中 的 人 机 对 话 涉及 用 户 模型 、 用 户 知 识 等 与 心理 学 、 社 会 
学 和 艺术 等 更 为 广泛 的 领域 ， 而 传统 方法 则 很 少 考虑 这 些 。 虽 然 针 对 这 一 领域 目前 人 们 已 经 
发 展 很 多 理论 ， 但 尚 无 一 种 方法 能 适应 用 户 界面 设计 中 的 各 种 情况 ， 并且 有 很 好 的 可 用 性 。 
情感 虚拟 人 系统 总 体 设计 致力 于 进行 相关 方面 的 研究 和 探讨 。 

早期 用 于 人 脸 几 何 建 模 的 技术 大 多 为 多 边 形 建 模 技 术 ， 包括 矩形 网 格 和 三 角形 网 格 ， 后 
来 发 展 出 了 自 适 应 网 格 。 我 们 可 以 用 自 适应 网 格 方法 建立 非 均 匀 脸 部 网 格 (数据 来 自 扫描 
图 像 ) ， 建 立 真实 感 的 脸 和 头 ， 输 入 动态 控制 参数 产生 动画 。 这 种 动态 控制 参数 方法 与 图 像 
分 析 方 法 相 结合 ， 为 合成 高 度 真 实感 人 脸 提 供 了 一 种 可 能 ， 运 用 这 种 方法 可 以 获得 精细 的 脸 
部 几何 结构 和 纹理 ， 合 成 各 种 脸 部 变形 ， 实 现 自然 的 、 完 全 可 控 的 脸 部 动画 。 

真实 感人 脸 就 是 指 计算 机 合成 的 具有 特定 人 的 襄 、 怒 、 哀 、 乐 等 表情 及 脸 部 各 种 特征 的 
人 脸 模型 。 人 们 总 是 希望 合成 的 人 脸 能 够 尽 可 能 地 达到 逼真 ， 但 是 由 于 受 横 型 和 计算 能 力 的 
限制 ， 合 成 的 图 像 总 是 与 人 们 的 要 求 有 一 定 的 差距 。 

初始 的 人 脸 模 型 不 具有 任何 特定 人 的 特征 ， 也 不 具有 任何 表情 。 心 理学 研究 表明 : 人 脸 
能 够 产生 大 约 55 000 种 不 同 的 表情 ， 其 中 有 多 种 能 够 用 人 类 自然 语言 词汇 区 别 开 来 。 脸 部 
表情 的 丰富 性 促使 了 多 种 表情 记述 方法 的 出 现 ， 其 中 常 采用 脸 部 表情 编码 系统 (FACS) 的 
Ekman Friesen 中 定义 的 动作 单元 来 描述 脸 部 表情 ， 每 一 种 表情 都 是 由 面部 的 一 束 或 几 束 肌 
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图 7-19 人 机 交互 系统 框图 





肉 伸 缩 产 生 ， 同 时 每 一 表情 可 表示 为 若干 个 共同 AU 作用 的 结 

本 市 将 以 Candide 模型 作为 通用 模型 ， 对 网 格 进行 纹理 贴图 后 ， 通 过 控制 AU 来 控制 人 
脸 模型 的 面部 表情 ， 达 到 参数 化 控制 的 目的 ， 进 而 可 以 精确 合成 多 种 表情 。 

在 理论 建 模 方面 ，HMM 比较 适合 于 人 类 心理 的 特征 描述 ， 但 是 它 有 分 类 能 力 差 、 对 于 
相似 的 类 别 方面 不 易 区 分 的 缺点 ， 而 贝 叶 斯 网 络 (BBN) 在 决策 能 力 和 对 不 确定 信息 的 描 
述 能 力 是 很 强 的 。 在 人 工 智能 领域 ， 不 确定 性 问题 一 直 成 为 人 们 关注 和 研究 的 焦点 。 不 确定 
性 知识 的 推理 长 期 以 来 一 直 被 认为 是 AI 领域 中 的 一 个 重要 研究 问题 ， 在 现在 提出 的 众多 方 
法 中 ， 概 率 方 法 是 迄今 为 止 最 为 流行 的 方法 ， 这 主要 归功 于 贝 叶 斯 网 络 良好 的 知识 表达 框 
架 。 在 一 些 领域 中 ， 借 助 贝 叶 斯 网 络 人 们 能 揭示 和 发 现 许 多 令 人 信服 的 概率 依赖 关系 。 贝 叶 
斯 网 络 为 因果 关系 的 表示 提供 了 一 个 便利 的 框架 ， 它 是 一 个 功能 强大 的 能 处 理 不 确定 性 的 工 
有 具 。 贝 叶 斯 网 络 用 图 形 模式 描述 变量 集合 间 的 条 件 独立 性 ， 而 且 容 许 将 变量 间 依 赖 关 系 的 先 
验 知识 和 观察 数据 相 结 合 。 

贝 叶 斯 网 络 是 用 来 表示 不 确定 性 变量 联合 概率 分 布 的 图 形 模式 ， 它 反映 了 变量 间 潜 在 的 
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依赖 关系 。 使 用 贝 叶 斯 网 络 建 模 已 成 为 解决 许多 不 确定 性 问题 的 强 有 力 工具 。 本 节 将 基于 国 
内 外 最 新 的 研究 成 果 对 贝 叶 斯 网 络 模型 进行 深入 的 学 习 和 研究 。 


7.5.2 ”情感 虚拟 人 三 维 人 上 脸 模型 的 实现 


虚拟 人 人 机 交互 系统 的 功能 如 图 7-20 所 示 。 

虚拟 现实 技术 融合 了 数字 图 像 处 
理 、 计 算 机 图 形 学 、 多 媒体 技术 、 传 感 
器 技术 等 多 个 信息 技术 分 支 。 本 课题 主 
要 致力 于 建立 三 维 虚拟 人 脸 模 型 即 情感 
模型 的 建立 。 虚 拟人 技术 是 人 在 计算 机 
生成 空间 (虚拟 环境 ) 中 的 几何 特性 
与 行为 特性 的 表示 ， 是 多 功能 感知 与 情 
感 计算 的 研究 内 容 。 

要 实现 与 具有 情感 的 虚拟 人 的 交 
流 ， 首 先 应 该 让 其 能 够 识别 接口 传递 过 
来 的 参数 信号 及 具有 相应 的 人 机 界面 ， 
初步 实现 一 个 主体 框架 ， 主 要 用 VC ++ 
编程 ， 利 用 OpenGL 等 技术 ， 实 现 三 维 
立体 虚拟 人 脸 的 建 模 。 其 中 ， 涉 及 的 内 
容 如 图 7-21 中 的 圆 角 框图 所 示 ， 包 括 图 7-20 虚拟 人 系统 功能 框图 
有 组 织 图 像 的 二 维 数据 输入 、 将 标准 模型 中 的 网 格 模 型 作为 三 维 人 脸 建 模 的 初始 模型 。 
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图 7-21 三 维 人 脸 建 模 系统 
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7.5.3 基于 Candide 模型 的 三 维 人 脸 建 模 


人 脸 合 成 与 表情 模拟 是 计算 机 图 形 学 领域 的 一 个 研究 热点 ， 吸 引 了 许多 图 形 学 工作 者 ， 
也 取得 了 一 些 巨大 的 成 果 。Lance Williams 从 真实 人 脸 提 取 表 情 信 息 ， 然 后 将 其 应 用 于 计算 
机 合成 的 虚拟 人 脸 ， 从 而 得 到 了 具有 一 定 表情 的 虚拟 人 脸 。Manjula Patel 等 人 通过 对 大 量 人 
脸 表情 的 细致 分 析 ， 构 建 了 由 基本 的 脸 部 动作 单元 构成 的 44 组 AU 的 人 脸 动画 编码 系统 ， 
这 个 系统 可 以 以 单独 或 者 组 合 方式 表现 人 脸 的 各 种 表情 。 

心理 学 研究 表明 : 人 脸 能 够 产生 大 约 55 000 种 不 同 的 表情 ， 其 中 有 多 种 能 够 用 人 类 自 
然 语 言词 汇 区 别 开 来 。 面 部 表情 的 丰富 性 促使 了 多 种 表情 记述 方法 的 出 现 ， 其 中 经 常 采用 和 
提出 的 脸 部 表情 编码 系统 中 定义 的 动作 单元 来 描述 脸 部 表情 ， 每 一 个 AU 都 是 由 脸 部 的 一 东 
或 几 束 肌肉 伸缩 产生 ， 同 时 每 一 种 表情 可 表示 为 若干 个 AU 共同 作用 的 ( 见 表 74) 结果 。 
表 7-3 表明 了 部 分 动作 单元 与 肌肉 运动 之 间 的 关系 。 
表 7-3 动作 单元 与 脸 部 肌肉 的 对 照 













































































































































































动 作 肌肉 基 向 量 动作 单元 集 动 作 肌肉 基 向 量 动作 单元 集 
LARA CI) 主 额 肌 、 眼 部 轮 re 下 拉 下 巴 下 巴 动作 肌 AU26( 下 拉 下 巴 ) 
es ; AUG ( $e tea HIE ) 一 一 一 = 
部 提高 ) EL R KRH AU25 ( 层 分 开 ) 
后 拉 嘴 角 EL, SUL AU12( 拉 动 嘴角 ) 放松 上 嘴 层 口 轮 臣 肌 AU25 ( 层 分 开 ) 
ERR 上 嘴唇 肌肉 AU10( 提高 上 嘴唇) | 鼻 根 收缩 降 眉 肌 、 提 层 肌 | AU9( 收 缩 鼻 子 ) 
下 压 嘴 角 降 口角 肌 AU15( 嘴 角 下 压 ) 提升 或 下 拉 丑 ai AU1( 提 升 眉毛 ) 
EFE 骸 肌 AU17( 上 提 下 巴 ) |E AU4( 下拉 眉毛 ) 
表 7-4 6 种 基本 表情 的 AU 组 合 
表情 AU 恐惧 AU12 + AU1 
高 兴 AU16 + AU12 愤怒 AU27 + AU4 + AU9 
悲伤 AU1 + AU15 厌恶 AU12 + AU4 + AU9 
惊奇 AU26 + AUI 














AU: 这 里 借用 FACS 中 的 AU 概念 。AU 代表 面部 表情 的 一 个 微小 的 变化 。 这 种 变换 取 
决 于 对 肌肉 的 微小 并 且 明 显 的 驱动 。 

AUV: WEM AUV 代表 人 物产 生 的 脸 部 动作 。AUYV 表示 AU 向 量 的 集合 ，AU 向 量 描述 了 
当 一 个 AUV 被 激活 后 ， 其 涉及 的 顶点 将 如 何 进行 运动 。 

其 次 需要 定义 表面 。 每 一 个 三 角形 表面 的 顶点 都 是 按照 逆 时 针 的 顺序 来 定义 的 ， 如 图 
7-22 所 示 。 

然后 ， 定 义 AUV， 每 一 个 AUV 包括 一 系列 的 AU 向 量 ， 而 每 一 个 AU 向 量 定义 了 在 
AUV 被 100% 激活 的 条 件 下 ， 其 涉及 的 每 一 个 顶点 将 进行 多 大 幅度 的 运动 。 

在 真实 度 方面 ， 一 个 三 维 人 脸 模 型 应 该 符合 两 个 标准 : 第 一 个 是 实现 静态 的 真实 感 ， 第 
二 个 是 实现 动态 的 真实 感 。 静 态 真实 感 是 指 静 止 的 人 脸 从 任 一 角度 看 都 具有 真实 感 ; 动态 真 
实感 是 指 人 脸 的 动作 和 毛发 到 达 副 真 自然 的 程度 。 这 里 只 讨论 静态 真实 感 的 设计 。 

实验 证 明 ，100 个 三 角形 已 经 足够 构建 一 个 完整 的 人 脸 网 格 模型 ， 并 可 以 适应 不 同 的 人 
脸 贴图 。 表 7-5 列 出 了 Candide 网 络 模型 75 个 顶点 的 三 维 坐标 。 
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lo 
20 
1 30 4o 
So a 
6o 
a) 
图 7-22 ”顶点 及 其 与 表面 的 关系 
a) 顶点 示例 b) 表面 与 顶点 的 关系 
表 7-5 Candide 网 络 模型 顶点 的 三 维 坐标 
ns x y Z 注 g re X Y Z © OR 
0 0 250 40 左 半 边 脸 24 70 30 100 
1 40 190 90 25 30 -40 110 
2 0 130 120 26 50 -60 104 
3 0 70 130 27 120 -40 50 
4 0 40 120 28 150 -30 20 
5 0 -50 180 29 140 40 20 
6 0 -70 130 30 110 -190 60 
7 0 -100 137 31 70 -110 80 
8 0 -120 138 32 40 -180 100 
9 0 -160 120 33 10 -90 136 
10 0 -210 140 34 -40 190 90 右 半 边 脸 
11 50 245 10 35 0 130 120 
12 105 215 20 36 0 70 130 
13 100 150 70 37 0 40 120 
14 146 130 20 38 0 -50 180 
15 120 70 70 39 0 -70 130 
16 90 92 110 40 0 -100 137 下 嘴唇 最 高 
17 30 70 120 41 0 -120 138 
18 90 80 110 42 0 -160 120 
19 70 60 100 43 0 -210 140 
20 108 40 80 44 -50 245 10 
21 70 53 104 45 -105 215 20 
22 70 34 103 46 -100 150 70 
23 40 40 100 47 -146 130 20 











































































































( 续 ) 
X Y Z 注 # re X y Z 注 OE 
48 -120 70 70 62 -140 40 20 
49 -90 92 110 63 -110 -190 60 
50 -30 70 120 64 -70 -110 80 
51 -90 80 110 65 -40 -180 100 
52 -70 60 100 66 -10 -90 136 
53 -108 40 80 67 80 50 95 瞳孔 
54 -70 53 104 68 80 35 95 
55 -70 34 103 69 -80 50 95 
56 -40 40 100 70 -80 35 95 
57 -70 30 100 71 61 50 102 
58 -30 340 110 72 61 35 102 
59 -50 -60 104 73 -61 50 102 
60 -120 -40 50 74 -61 35 102 
61 -150 -30 20 75 0 — 100 50 中 部 张 开 的 背景 
图 7-23 所 示 。 


在 VC ++ 环 境 下 ， 借 助 OpenGL 图 形 库 ， 初 步 得 到 的 Candide 网 格 模型 如 
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图 723 根据 75 个 节点 的 坐标 初步 构建 的 Candide 网 格 模型 





7.5.4 人 脸 模 型 的 变换 


通过 对 一 般 3D 人 脸 模型 进行 变换 从 而 适应 一 个 特定 的 人 脸 。 

1. 对 于 特征 点 进行 的 变换 

(1) 全 局 变换 3D 人 脸 模 型 上 的 任意 一 点 P (X, Y, Z) 以 无 穷 小 和 
KP! (X', Y', Z) 作 刚 性 运动 ， 可 以 描述 为 


y 1 -Ag9, Ad, TS, 0 Ox [Ty 
y'|=| Ab， 1 -Ab o s, oj y+] 7, 
Z'| | -A@, Ab, 1 jo o sz IT, 





欧 拉 角 向 其 目标 


(7-1) 
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HH, Or, Oy FO, 是 围绕 3D HX, Y MZ 轴 旋 转 的 角度 ; Sy. Sy AS, 分 别 是 比例 因子 ; 
(Ty, Ty, T)" 是 平移 向 量 。 全 局 变换 即 可 以 等 价 地 看 成 是 对 这 9 个 刚性 运动 参数 的 估计 。 
进行 垂直 影射 后 ， 可 以 通过 计算 3D 人 脸 模 型 到 2D 人 脸 中 心 的 距离 来 得 到 平移 向 量 。 让 Pi、 
P.. P, P, 分 别 代表 左 眼中 心 点 、 右 眼中 心 点 、 两 眼 的 中 点 及 人 脸 的 嘴 部 的 中 心 。 而 已 、 
P'、P!'、P,' 是 3D 人 脸 模 型 中 2D 投影 的 相关 特征 。 所 以 ， 比 例 因子 Sy 和 Sy 进行 了 如 下 的 
定义 : Sy=|P,-P,/ Pi- Pi], T Sy = ||P, -Pa P} -Pulo 在 平面 帧 中 ， 脸 的 深度 是 
不 可 见 的 ， 为 了 保证 自动 性 ，$， 将 应 用 线性 膨胀 性 取 S, 和 5) 的 平均 值 。 头 部 的 倾斜 角度 
0, 可 以 通过 测量 线段 PP, 和 2D 水 平 轴 之 间 的 角度 来 获得 。 应 用 基于 横 截 面 的 方法 来 获得 
0,。 至 于 0, ， 由 于 缺少 深度 信息 ， 所 以 假设 头 部 与 X 轴 是 平行 的 ， 即 0, =0。 

(2) 局 部 变换 “四 个 脸 部 特征 ， 如 本 系统 中 的 眉毛 、 下 巴 、 
眼睛 和 嘴 ， 将 分 别 得 到 变换 (SLA 7-24), 8 个 眉毛 节点 (黑色 
圆 点 ) 用 来 代替 提取 出 的 8 个 眉毛 特征 点 。 在 下 巴 替 换 中 ，3D 
人 脸 模 型 的 5 个 下 巴 节点 CRRA) 通过 伸缩 运动 与 提取 出 的 
2D 下 巴 轮廓 相 吻 合 。 通 过 对 人 体 测量 学 和 肌肉 运动 的 研究 ， 中 
间 的 三 个 圆 点 是 与 上 面 的 两 个 方形 节点 相连 的 ， 而 另外 两 个 圆 点 
也 和 对 角 的 方形 节点 相连 。 嘴 部 变换 包括 仿 射 变换 (Affine 
Transformation) 和 轮廓 变换 。 所 有 的 嘴 部 节点 包括 在 一 个 和 矩形 
内 ， 是 通过 2D 仿 射 变换 得 到 的 ， 这 需要 计算 已 经 提取 的 平面 嘴 
部 和 2D 嘴 部 对 于 3D 人 脸 模型 投射 之 间 的 差别 ， 其 中 投射 是 在 平 
移 、 比 例 和 旋转 三 方面 进行 的 ， 然 而 仿 射 变换 不 能 保证 嘴 部 轮廓 ”图 724 Candied 人 脸 模型 
的 匹配 。 为 了 上 半 嘴 展 的 自然 形状 ， 所 有 轮廓 上 的 节点 需要 通过 一 个 常数 变换 成 提取 的 2D 
轮廓 ， 该 参数 是 通过 估计 平面 人 脸 上 半 嘴 唇 外 部 轮廓 线 中 间 点 和 投射 到 3D 人 脸 模 型 的 2D 
中 相应 点 之 间 的 距离 得 到 的 。 眼 部 变换 的 原则 与 嘴 部 变换 的 原则 一 致 。 对 人 脸 模 型 处 于 两 个 
椭圆 中 的 眼 部 各 节点 进行 仿 射 变换 ， 然 后 根据 已 经 提取 的 眼 部 轮廓 来 调整 人 脸 模 型 的 眼皮 。 
然而 ， 眼 睛 必须 作为 两 个 独立 的 物体 来 处 理 ， 即 用 两 组 独立 的 参数 集合 。 另 外 ， 这 里 应 用 了 
线性 插值 来 调试 这 些 非 边 界 节 点 。 

2. 对 于 非特 征 点 进行 的 变换 

在 完成 对 特征 点 的 三 维 坐 标 调整 之 后 ， 模 型 调整 即 为 确定 非特 征 点 的 位 置 。 利 用 适当 的 
插值 算法 计算 非特 征 点 的 三 维 坐标 。 非 特征 点 调整 可 采用 的 方法 有 自由 变形 、 径 向 基 函 数 内 
插 、 弹 性 匹配 等 。 其 中 ， 自 由 变形 算法 较为 复杂 ， 和 从 问 基 水 数 内 插 具有 良好 的 平滑 性 ， 但 需 
注意 保证 内 插 平 稳 性 。 






























































下 面 介绍 利用 径 向 基 插 值 算法 计算 非特 征 点 的 三 维 坐 标 。 即 已 知 特征 点 x, 的 位 移 /为 
‘else G=1,2, = N) (7-2) 
求 径 向 基 内 插 函 数 
s(x) = p(x) + DP Ap( lx a1) (73) 





h, s 称 为 径 向 基 函 数 (RBF) ; 自 变量 * 为 对 应 网 格 顶点 的 三 维 坐标 , 因 变量 为 此 点 的 位 移 
E; p 为 低 阶 多 项 式 ; A, 为 RBF 的 系数 , 即 网 格调 整 需要 确定 的 模型 参数 ; p( ) A TSE 
数 , ESE PRB, x, 是 RBF 中 心 , 一 般 为 与 模型 特征 点 对 应 的 空间 坐标 。 令 低 阶 多 项 式 p 的 
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N p= |P，…， pit, 对 应 的 系数 为 c = {c，…， a}, 则 式 (7-3) 以 矩阵 形式 表示 为 


Pd 74) 
P" Olle 0 
AF, A=(A,], A; =9( || x, -x ||); Py =P,(a;)3 i, j=1, 2, 0, No 
由 此 线性 方程 可 解 得 入 、c, DATIVE SFE A AS SY AER PRI (x) o OEP 48 Td BE eK 
数 的 选取 , 在 试验 中 , 选取 了 高 斯 函数 , a 取 为 1/64, BI 
pl(r)=e™ (a>0) (7-5) 


7.5.5 ” 脸 部 表情 的 运动 计算 

如 表 7-6 所 示 ， 分 别 选择 了 最 具有 代表 性 的 ， 并 且 对 表情 的 变化 起 主导 作用 的 12 组 AU 
来 作为 合成 人 脸面 部 表情 的 12 个 基本 单元 。 每 一 个 AU 控制 了 不 同 的 节点 ， 例 如 AUL 控制 
的 节点 有 4 个 ， 分 别 为 17、50、15、48; 而 AUS 控制 的 节点 有 19 个 ， 分 别 为 5、25 、58 、 
26、59 、33 、66、16、49 、17、50、18 、51、22 、55 、68 、70 、72 、74 。 每 个 节点 的 坐标 见 
表 7-5。 每 一 个 键盘 上 的 键 都 可 以 控制 一 个 AU， 例 如 1 键 控制 AUL, 2 键 控制 AU2, 3 键 控 
制 AU16。 




















表 7-6 AU 和 所 对 应 的 节点 






































编号 所 包含 节点 个 数 所 包含 的 节点 

AUI 4 17, 50, 15, 48 

AU2 8 16, 49, 18, 51, 15, 48, 17, 50 

AU16 3 40, 8, 9 

AU27 8 40, 8, 9, 10, 30, 63, 32, 65 

AU4 14 17, 50, 16, 49, 18, 51, 15, 48, 21, 54, 67, 69, 71, 73 
AU9 19 5, 25, 58, 26, 59, 33, 66, 16, 49, 17, 50, 18, 51, 22, 55, 68, 70, 72, 74 
AU10 7 7, 25, 58, 26, 59, 33, 66 

AU20 9 8, 31, 64, 32, 65, 33, 66, 26, 59 

AU12 12 31, 64, 25, 58, 26, 59, 22, 55, 68, 70, 72, 74 

AU18 7 31, 64, 33, 66, 7, 40, 8 

AU45 12 21, 54, 22, 55, 67, 69, 71, 73, 68, 70, 72, 74 

AUIT 4 9, 8, 7, 40 














在 确定 好 需要 控制 的 AU 后 ， 要 统计 代表 AU 运动 的 运动 向 量 所 包含 的 节点 在 每 一 种 情 
绪 所 对 应 的 表情 中 ， 相 对 于 初始 状态 〈( 即 没有 表情 的 状态 下 ) 的 位 置 变 化 。 根 据 参考 文献 
[22] 中 所 述 的 分 类 和 统计 方法 ， 可 以 将 AU 与 FAP 的 对 应 关系 进行 归纳 总 结 。 这 里 ， 不 再 
袭 述 每 一 个 相关 列表 中 的 详细 内 容 ， 仅 列举 其 中 的 几 项 来 说 明 面部 表情 运动 计算 的 过 程 。 

如 前 所 述 ，FACS 在 很 大 程度 上 影响 了 表情 分 析 领 域内 的 研究 。 这 个 系统 可 以 将 可 见 的 
面部 运动 通过 解剖 学 的 原理 进行 分 析 。 在 FACS 中 ,使 用 AU 来 作为 度量 单位 。 一 个 AU 可 
以 将 几 束 肌肉 运动 结合 起 来 。MPEG-4 FAP 与 FACS 的 关系 也 很 是 相辅相成 的 。 如 表 727 所 
AR, FES AU 都 对 应 着 一 到 多 个 FAP, 
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R 7-7 FAP 到 AU 的 映射 关系 











AU FAP 
AU1 Raise | i eyebrow( F31) +raise_r_i_ eyebrow(F32) 
AU2 Raise _ l _o _ eyebrow( F35) + raise _r _o _ eyebrow( F36 ) 





通过 分 析 表 情 对 应 于 AU 的 关系 ， 可 以 找 出 情绪 和 FAP 之 间 的 对 应 关系 ， 见 表 7-8。 
表 7-8 情绪 所 对 应 的 FAP 描述 








情绪 描 述 
高 兴 F3, F4, FS, F6, F7, F12, F13, F19, F20, F21, F22, F33, F34, F41, F42, F53, F54 
悲伤 F19, F20, F21, F22, F31, F32, F33, F34, F35, F36 














通过 描述 脸 部 区 域 相关 点 的 运动 来 度量 实际 图 像 中 的 FAP。 如 表 7-9 所 示 ， 这 种 方法 为 
表情 分 析 和 动画 合成 提供 了 很 好 的 桥梁 作用 。 
表 7-9 FAP 的 变量 模型 



























































FAP ti æ t # 
Raise 1 i _eyebrow( F31 ) D5 =s(18,24) 左 眉毛 的 右 端 与 左 眼 的 右 眼 角 之 间 的 空间 距离 
Raise 1 0 _ eyebrow( F35) D7 =s(16,21) 左 眉毛 的 左 端 与 左 眼 的 左 眼角 之 间 的 空间 距离 


根据 参考 文献 [22] ， 通 过 前 人 在 该 领域 中 的 研究 ， 可 以 获得 每 一 个 FAP 对 应 于 不 同情 


感 状态 下 的 平均 值 和 标准 方差 值 ， 见 表 7-10。 
表 7-10 FAP 的 统计 数据 

















FAP 数据 生气 悲伤 高 兴 厌恶 恐惧 吃惊 

Raise 1 i eyebrow 平均 值 -83 85 24 -80 104 224 
(F31) 方 均 差 48 55 22 53 69 103 
Raise_l_o_ eyebrow | 平均 值 -66 — 25 -82 — 54 
(F35) 方 均 差 35 一 22 54 一 31 


























表 7-10 中 ,“ - ”表示 统计 数据 还 不 完整 。 计 算 FAP 每 个 变量 变化 范围 的 步 又 如 下 : 
定义 m, Alls, ;分别 代表 FAP 中 每 个 F, 的 平均 值 和 标准 方差 ， 则 每 个 五 的 变化 范围 蕊 ， 
可 以 由 下 式 得 到 : 





人 = [ max(0 ,Ti =s;;) ,M; +s] 


X,.=[m,,-s 


tJ i,j i,j? 
最 终 的 变化 值 见 表 7-11 。 
表 7-11 情绪 所 对 应 的 FAP 变化 范围 


(7-6) 


min(0 „Mm; ; + siy) ] 











情绪 FAP 的 变化 范围 

ey, | F4e[22,124],F31e[ -131, -25],F32 e[ -136,-34],F33e[ -189, - 109], F34 e [ -183,-105],F35e 
“| T _ 101, -31],F36 e[ -108, —32] ,F37 e [29,85] 

m F19 e [ -26, -41],F20 e [ -270, -52] ,F21 e [ -265, -41 ] ,F22 e [ -270, -52] ,F31 e [30,140] ,F32 e [26, 
1B i 


134] 
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最 后 要 实现 的 功能 是 针对 特别 选取 的 AU， 即 那些 对 于 表情 变换 起 到 特定 作用 的 AU, 
通过 改变 其 量 值 ， 从 而 控制 其 对 应 的 PAP, 在 各 自 的 变化 范围 内 进行 运动 。 通 过 键盘 控制 
AU, KEA AU 向 量 的 运动 超出 了 允许 范围 时 ， 其 对 应 的 节点 会 重新 回 到 初始 状态 的 位 置 ， 
在 达到 在 理论 上 可 以 合成 任意 表情 的 功能 ， 并 可 以 沿 X、yY、2 轴 进 行 任意 角度 的 旋转 ， 如 
图 7-25 所 示 。 
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pap 














图 725 面部 表情 的 运动 计算 结果 
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7.5.6 纹理 贴图 


构建 完 模型 后 就 要 加 上 纹理 了 。 纹 理 是 使 用 纹理 映射 ， 纹 理 映 射 技 术 是 真实 感 技术 的 一 
个 重要 方面 ， 人 脸 表 面 的 纹理 具有 颜色 和 几何 纹理 的 双重 属性 。 

在 贴 纹理 前 ， 必 须 确定 纹理 与 人 脸 的 相对 关系 ， 即 在 场景 中 生成 实体 时 要 同时 用 到 纹理 
坐标 和 几何 坐标 。 对 于 一 个 二 维 纹理 来 说 ， 纹 理 坐 标 在 两 个 方向 上 都 是 从 0.0 ~1.0。 这 样 
在 设计 纹理 时 就 要 小 心 ， 要 使 其 左右 、 上 下 各 边 能 够 很 好 地 拼 为 一 体 ， 即 要 实现 纹理 图 像 的 
无 颖 连接 。 在 应 用 中 ， 首 先 选择 一 个 图 像 。 由 于 被 用 作 纹 理 图 像 的 宽 和 高 必须 是 2 AREAK 
方 ， 所 以 在 预 处 理 部 分 ， 须 将 其 转换 为 符合 要 求 大 小 的 格式 ， 并 将 对 应 的 256 分 量 依次 读 入 
BAEK 

在 初始 化 时 ， 对 纹理 映射 的 各 种 参数 进行 设置 ， 要 对 相对 的 几何 坐标 同时 给 出 对 应 的 纹 
理 坐 标 ， 本 节 采 用 了 线 积分 卷 积 法 来 进行 纹理 的 向 量 场 映 射 方法 ， 设 向 量 场 中 任 一 点 处 的 局 
部 特性 由 一 卷 积 核 水 数 (w) 沿 一 条 从 该 点 开始 向 前 向 后 跟踪 出 的 一 段 流 线 积分 的 结果 来 决 
定 ， 则 定点 (x, y) WAME I(x, y) 可 由 下 式 得 出 : 


k 








I(x, y) = 二 一 一 一 一 (7-7) 


AP, 7 为 从 (*,，y) 出 发 向 前 向 后 跟踪 的 流 线 段 所 经 过 的 像素 ; f(x,, y,) 为 像素 点 (x,, yi) Ak 
的 输入 纹理 ; h 为 流 线 段 穿 过 像素 (x,, y,) 时 在 其 内 的 长 度 。 经 这 样 的 处 理 后 ,就 可 以 实现 
具有 真实 感 较 强 的 人 脸面 部 表情 。 

在 系统 中 ， 人 脸 位 于 一 个 256 像素 x256 像素 的 像素 纹理 贴图 的 中 心 。 该 图 可 以 从 通用 
交换 格式 (Common Interchange Format, CIF) 视频 帧 中 自动 获得 。 考 虑 到 处 理 的 方便 ， 人 脸 
需要 尽 可 能 地 出 现在 纹理 贴图 的 中 心 位 置 。 事 实 上 ， 在 视频 帧 中 ， 人 脸 的 位 置 很 难 真正 处 于 
中 心 ， 因 为 讲话 者 会 随机 地 晃动 ， 所 以 视频 帧 中 人 脸 的 位 置 需要 被 研究 。 

将 水 平和 垂直 轴 分 为 三 段 。 其 中 , 水 平方 向 上 为 L2 和 (Ly -L,/2), HEAT EW L 
2 和 (Ly —Ly/2), WHEL, /2 表示 纹理 贴图 的 一 半 宽 度 (本 系统 为 128) Ly 和 Ly 分 别 是 CIF 
视频 帧 的 宽度 和 高 度 。 这 四 个 标记 可 以 将 视频 帧 分 解 为 九 个 区 域 。 根 据 中 心 人 脸 ( Cy，C) 
相对 于 这 些 区 域 的 位 置 ,可 以 决定 如 何 进行 纹理 贴图 。 例 如 ,如果 Cy <L,/2 IFAC, <L,/2, 
则 坐标 (A2,， Li/2) 可 以 认为 是 纹理 贴图 的 中 心 ; mM Ly, /2 < Cy <Ly -L,/2, FFA L,/2<C, 
<Ly-L,/2 时 , 那么 纹理 贴图 的 中 心 被 认为 在 (C;, Cy)。 根 据 自动 产生 的 纹理 贴图 ，3D 人 
脸 模型 的 纹理 坐标 可 以 通过 将 3D 坐标 系 映射 进入 到 纹理 空间 而 得 到 。 根 据 以 上 和 前 面 的 处 
于 人 脸 模 型 转换 中 的 个 性 化 3D 节点 坐标 ， 最 终 可 以 合成 一 个 特定 的 3D 人 脸 模型 。 

这 里 ， 从 视频 中 截取 了 一 张 2D Alm, 按照 上 述 纹 理 贴图 的 原则 和 算法 ， 最 终 合成 的 结 
果 如 图 7-26 所 示 。 


7.5.7 ”情感 虚拟 人 的 表情 合 


如 图 7-27 所 示 ， 通 过 键盘 输入 来 控制 三 维 人 脸 网 格 模 型 中 各 个 节点 的 运动 ， 从 而 达到 
对 各 个 AU 参数 的 控制 ， 即 对 三 维 人 脸 模型 基本 表情 合成 的 控制 。 程 序 实现 了 对 键 0 ~9 及 
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上 下 箭头 键 的 点 击 数 来 控制 AU 参数 变换 的 程度 大 小 ， 进 而 合成 一 定 的 表情 。 例 如 ，1、2 键 
控制 眼 部 的 运动 ，3、4 键 控制 嘴 部 的 运动 ，5、6 键 控制 眉毛 的 运动 。 











a) b) 

















图 726 Candide 通用 模型 和 纹理 贴图 结果 
a) Candide 通用 模型 b) 纹理 贴图 


























图 7-27 通过 控 
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7.6 ”情感 虚拟 人 系统 的 结果 分 析 


人 工 心理 理论 的 基础 和 目的 就 是 利用 已 有 的 情感 计算 和 人 工 智能 基础 ， 结 合 心理 学 、 脑 
科学 、 神 经 科学 、 信 息 科 学 、 计 算 机 科学 、 自 动 化 科学 的 新 理论 和 新 方法 ， 对 人 的 心理 活动 
(尤其 是 情感 、 意 志 、 性 格 、 创 造 等 ) 全 面 进行 人 工 机 絮 模 拟 。 本 节 从 人 工 心理 的 理论 框架 
出 发 ， 从 心理 学 的 角度 模拟 人 类 心理 状态 的 转移 及 在 各 心情 下 的 表情 表现 ,构建 虚拟 人 性 
格 。 将 前 三 节 提 出 的 基于 FFM 和 BBN 的 情感 模型 与 情感 表达 系统 结合 起 来 ， 应 用 于 虚拟 人 
系统 的 情感 建 模 ， 最 终 实 现 和 谐 的 人 机 交互 接口 。 

基于 FFM 模型 ， 可 以 根据 用 户 的 喜好 或 应 用 的 要 求 ， 创 建 具有 不 同 个 性 特征 的 情感 交 
互 系统 ， 当 已 知 选 定 对 象 的 个 性 特征 值 、 当 前 情绪 及 回答 情绪 ， 意 识 刺激 所 产生 的 情绪 概率 
超过 某 个 特定 阐 值 时 ， 可 以 根据 该 模型 得 到 情感 的 当前 情绪 结果 ， 根 据 设 定 的 虚拟 人 的 性 格 
特征 ， 采 用 BBN 算法 ， 对 情感 结果 值 进行 分 类 ， 得 到 最 终 的 符合 个 性 特征 的 情感 反应 ， 合 
成 该 情感 状态 所 对 应 的 表情 。 


7.6.1 初始 化 情感 模型 


1. 个 性 化 参数 

在 进行 个 性 化 定义 的 过 程 中 ,需要 进行 对 下 列 参数 的 指定 : 

1)“ 当 前 情绪 ”的 初始 值 ， 通 常设 定 为 中 性 值 。 

2) 对 于 每 一 个 个 性 化 因素 的 BBN ， 需 要 设 定 一 个 条 件 概率 值 。 

3) 需要 设 定 个 性 化 模型 中 ， 决 定 5 个 因素 如 何 进行 组 合 的 系数 。 

4) 对 于 情绪 变化 的 决策 ， 需 要 设 定 一 个 阅 值 (0 ~ 1) 。 如 果 情 绪 变 化 的 概率 值 高 于 这 
个 浆 值 ， 那 么 情绪 即 发 生变 化 。 

2. 情绪 参数 

下 面 列 出 了 与 情绪 相关 的 参数 ， 这 些 参数 可 以 由 用 户 设 定 : 

1) 初始 情感 或 人 脸 表情 ， 通 常设 定 为 中 性 值 。 

2) 应 用 于 积极 、 中 性 和 消极 情绪 的 三 个 转换 概率 矩阵。 用 户 可 以 设计 自己 的 矩阵， 或 
者 从 预先 设计 的 矩阵 中 进行 选择 。 在 以 后 的 设计 中 ， 这 些 和 矩阵 可 以 根据 每 一 种 个 性 化 而 各 不 
相同 。 

3) 决定 是 否 改 变 当 前 情感 的 冰 值 (0 ~1)。 

前 面 的 叙述 中 ， 曾 经 提 过 情感 状态 由 三 个 因素 决定 : AML 产生 的 回答 〈 对 应 回答 情 
绪 ) 、 当 前 情绪 (个 性 化 模型 的 输出 m,) 和 前 一 个 情感 状态 (定义 为 e,)。 为 了 简化 问题 ， 
这 里 将 前 一 个 情感 状态 等 价 为 个 性 化 状态 ( 即 历史 状态 变换 为 0) AIML 回答 产生 的 情绪 变 
换 即 为 外 界 的 刺激 ， 当 前 的 情绪 为 情感 模型 最 后 输出 的 情绪 状态 。 

在 设计 情感 模型 时 ， 首 先 针对 最 简单 的 情况 建 模 ， 假 设 心 情 分 为 一 般 (neutral) 、 好 
(good) 、 坏 (bad) 三 种 情况 ， 相 应 的 表情 也 可 分 为 无 表情 、 高 兴 、 不 高 兴 三 种 情况 。 为 了 
简化 运算 ,现在 只 考虑 当前 的 情绪 作为 主要 特征 ， 而 暂时 不 考虑 对 话 前 的 情绪 状态 。 在 各 种 
心情 之 间 的 转换 概率 见 表 7-2。 

除非 有 新 的 激励 ， 心 情 的 波动 随 着 时 间 的 增加 而 衰减 。 所 以 人 们 大 多 数 时 间 是 处 于 平静 
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的 心态 下 的 。 当 一 个 虚拟 人 首次 与 人 类 交互 时 ， 由 于 在 这 之 前 未 受过 任何 激励 ， 所 以 此 时 它 
应 该 处 于 一 种 平静 的 心态 下 ， 随 着 人 机 交互 的 进行 ， 它 的 情绪 按照 人 类 情感 反应 的 特点 ， 逐 
渐 积累 、 变 化 。 由 上 述 分 析 ， 我 们 可 以 确定 当 虚 拟人 未 经 过 任何 激励 作用 时 的 初始 概率 向 
量 ， 即 个 性 化 心理 模型 地 为 





lin 





























w=(7,, Ta, 7,;) =(1, 0, 0) (7-8) 

然而 ， 随 着 人 机 交互 的 不 断 进行 ， 虚 拟人 所 
接受 的 激励 的 情况 也 随 之 变化 ， 从 而 在 革 些 情况 
下 ， 情 感 模型 的 初始 概率 向 量 会 有 所 变化 。 比 如 
根据 上 一 个 激励 信号 作用 下 的 情感 模型 ， 会 得 到 
一 个 情感 输出 的 结果 ， 包 括 此 时 的 心情 和 表情 ， 
并 且 程 序 通过 计算 同样 得 到 了 出 现 其 他 可 能 出 现 
的 心态 及 表情 的 概率 ， 此 时 的 初始 概率 向 量 应 访 
由 已 经 计算 出 的 可 能 出 现 的 各 种 心情 的 概率 决定 ， 
按照 上 一 时 刻 计算 得 到 的 模型 来 产生 下 一 个 观察 

在 设 定 的 情感 空间 中 ， 可 以 看 出 某 个 具有 特 Rae 
定性 格 的 人 ， 当 他 受到 刺激 时 ， 他 的 情感 状态 可 rn 
以 转化 为 其 他 状态 ,或 者 说 ， 从 空间 的 某 一 点 可 人 
以 跳跃 到 其 他 任意 的 状态 点 之 中 的 一 个 。 但 是 由 
率 也 不 同 。 实 际 上 ， 具 有 不 同 个 性 特征 的 人 ,可 
见 符 号 概率 矩阵 及 在 同样 的 激励 下 的 观察 值 序列 根据 情绪 状态 的 历史 状态 
是 不 相同 的 ， 在 同样 的 激励 下 的 状态 转移 矩阵 也 eae 
是 不 同 的 ， 乐 观 向 上 的 人 从 任何 一 种 心情 出 发 向 
好 的 心情 的 转移 概率 都 要 大 于 翡 观 失望 的 人 ， 他 
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们 在 同一 种 心情 下 所 表现 出 来 的 快乐 的 表情 的 概 
率 也 要 大 于 那些 悲观 的 人 。 这 样 就 可 以 对 某 些 状 上 
态 点 进行 排除 。 但 是 由 于 刺激 程度 的 不 同 ， 例 如 








Y 

















刺激 ) ， 那 么 他 的 情感 状态 就 有 可 能 转化 为 有 点 高 
兴 ， 这 时 得 出 的 心理 状态 会 出 现 多 个 概率 值 的 结 
: sae ee pe 结束 
果 ， 这 时 根据 设 定 的 情感 空间 中 对 应 于 每 种 情绪 
的 阔 值 ， 对 这 几 个 概率 值 进行 学 习 、 训 练 、 分 类 。 图 7-28 ”实现 情感 虚拟 人 个 性 化 
根据 几 个 设 定 的 性 格 ， 分别 建立 自己 的 训练 模型 。 模型 的 流程 








为 了 简化 实现 过 程 ， 并 突出 实验 考察 的 重点 ， 我 们 设计 了 如 图 7-28 所 示 的 流程 。 
7.6.2 ”情感 交互 系统 的 实现 与 结果 分 析 


按照 上 一 节 所 述 的 情感 模型 的 算法 ， 根 据 上 一 节 提 供 的 初始 值 和 观察 序列 训练 模型 ， 由 
最 后 的 模型 产生 观察 序列 ， 并 且 综 合 考虑 行为 模式 因素 和 输入 信号 判断 因素 的 影响 ， 以 不 同 
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的 组 合 方式 给 情感 虚拟 人 不 同 的 刺激 ， 即 设 定 不 同 的 回答 情绪 ， 从 而 可 以 得 到 虚拟 人 的 情感 
反应 结果 。 由 于 在 对 话 中 可 能 受到 的 意识 刺激 不 同 ， 所 以 同一 个 人 的 情感 模型 中 状态 产生 的 
回答 情绪 也 就 不 同 ， 而 转移 概率 矩阵 及 可 见 符号 概率 根据 意识 刺激 的 不 同 也 有 所 不 同 ， 把 对 
话 中 产生 的 意识 刺激 分 为 两 种 情况 :“ 正 向 ”与 “ 负 向 ”。 这 样 ， 针 对 每 种 刺激 分 别 有 一 个 
状态 转移 概率 矩阵 与 之 对 应 。 用 于 模型 重 估 的 状态 转移 概率 矩阵 及 可 见 符号 概率 矩阵 的 初始 
值 的 选取 ， 是 可 以 由 经 验 来 决定 的 ， 同 时 要 考虑 到 外 界 刺 激 对 各 个 心态 下 的 情绪 依 的 作用 ， 
AAS FA LTT A LE RIE 

在 前 面 的 叙述 中 ， 我 们 提 到 了 一 个 情感 状态 的 计算 可 以 由 下 式 得 出 : 

P(e,) =Tim,(Ex(e,), Ex(e,) )P(e,) 

式 中 ，Tm, 代表 情绪 m, 的 转换 概率 和 矩阵。 现在 根据 直觉 和 对 人 类 情绪 的 通常 理解 来 定义 这 
些 概率 值 。 
通常 情况 下 , P(m,) =BBN(m,, m,, 7) =P(m,/m,, m,)P(e,), 由 对 话 部 分 完成 对 m, 
的 判断 , 即 通过 上 述 公 式 得 出 某 一 段 对 话 , 情感 虚拟 人 产生 的 情绪 为 mo P(m,/m,, m,) 为 
每 一 种 个 性 模型 定义 了 情绪 变化 的 条 件 概 率 。 这 里 为 了 简化 问题 , 我 们 设 定 m, 是 已 知 的 ， 
对 应 P(e.) 。 

因为 已 经 预先 设 定 了 情感 虚拟 人 的 个 性 化 建 模 中 其 外 向 的 个 性 比例 为 0.7， 神 经 质 的 比 
例 是 0.3， 当 前 的 情绪 为 中 性 。 同 时 ， 我 们 要 预先 设 定 每 一 种 可 以 让 情绪 状态 发 生 改 变 的 概 
率 值 ， 并 规定 通过 计算 概率 转移 得 到 的 状态 值 中 ， 最 大 情绪 概率 值 如 果 大 于 次 大 情绪 概率 值 
的 10% ， 则 不 考虑 次 大 概率 值 所 对 应 的 情绪 状态 对 于 表情 的 影响 。 
这 里 ， 我 们 的 用 户 与 情感 虚拟 人 之 间 的 交流 定位 成 经 理 与 助理 的 角色 。 另 外 ， 为 了 更 好 
地 体现 情感 虚拟 人 的 情感 状态 和 变化 ， 我 们 建立 了 一 个 简单 的 、 包 含 不 同情 感 色彩 的 对 话 数 
据 库 。 如 何 构建 完备 的 且 具 有 人 工 智能 的 对 话 数据 库 ， 是 一 个 非常 繁杂 的 任务 ， 这 需要 在 以 
后 的 研究 中 逐步 完善 。 
在 设 定 的 场景 中 ， 比 如 当 用 户 输入 “早上 好 ”时 ， 虚 拟 助理 的 情感 状态 是 e,， 其 对 应 
的 P(e,) 为 
























































0.8 
0. 05 
P(e.) = o 
0.05 
如 果 分 别 计算 e (高 兴 ) 、e (生气 ) 、e:( 悲 伤 ) e CPE) 的 概率 值 , 而 P(e,) 是 根据 经 验 
值得 到 的 , 那么 通过 计算 , 可 以 最 终 得 到 每 种 情绪 状态 的 概率 结果 为 
0.8 0.1 0.05 0.0510.8 0. 6525 
0.6 0.2 0.1 0.1 |0.05| |0.505 
P(e,) =Tm P(e.) = 5 
0.7 0.05 0.05 0.2 |0.1 0. 5775 
0.3 0.05 0.15 0.3 JL0.05} [0.2775 
P(e,, e, e, e,) = [0.6525 (高 兴 )0.505( 生 气 )0. 5775 (364 )0. 2775( 中 性 ) ] 。 由 结果 
可 得 : 情感 虚拟 人 对 话 后 的 情绪 状态 中 , 高 兴 的 比 列 因子 数值 最 大 , 为 0.6525 ; 悲伤 的 比例 
因子 次 大 , 为 0.5775。(0. 6225 -0. 5775) /0. 5775 x 100% =12.9% >10%， 所 以 这 里 不 考虑 
悲伤 的 情感 因素 对 于 虚拟 人 当前 情绪 的 影响 。 另 外 ， 估 计 出 的 高 兴 状 态 的 比例 因子 0. 6525 
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KF ICU E AY BE 0.55, HAMATA PEER AS ORS, FETS TT ARSON, R EM 
人 输出 数据 库 中 对 应 的 回答 “早上 好 ”， 同 时 根据 对 各 情感 状态 对 应 的 表情 分 类 Exr(e,) , 选 
择 高 兴 状 态 下 对 应 的 表情 。 根 据 表 74 可知 ， 当 情感 状态 为 高 兴 时 ， 对 应 的 AU 组 合 为 
AU16 + AU12。 根 据 AU6 和 AU12 分 别 对 应 的 节点 ， 系 统 自动 进行 面部 表情 合成 的 运动 计 
算 ， 输 出 结果 如 网 7-29 所 示 。 

















图 7-29 ”情感 交互 系统 运行 界面 之 一 








同 理 ， 如 果 情 感 虚 拟人 在 对 话 系 统 中 进行 了 不 愉快 的 交流 ， 比 如 用 户 输入 了 信息 : 公司 
出 现 了 什么 问题 ? 此 时 ， 虚 拟 助 理 接 收 到 “ 负 向 ”刺激 的 信息 时 的 情感 状态 为 
0.05 
0.5 
| 
0.1 


0.8 0.1 0.05 0.0510.05] [0.125 

0.6 0.2 01 01 0.5 0. 155 

P(e,) =Tm P(e.) = = 

0.7 0.05 0.05 0.2 | 0.15 | | 0.065 

0.3 0.05 0.15 0.3 ]10.1 0. 1325 
P(e,, e, e, e) = (0. 125( 2%) 0. 155( 生气)0. 065 ( 悲伤 )0. 1325( 中 性 ) ] 。 由 结果 可 
得 : 情感 虚拟 人 对 话 后 的 情绪 状态 中 ， 生 气 的 比 列 因 子 数 值 最 大 ， 为 0.155; 悲伤 的 比例 因 
子 次 大 ， 为 0. 1325。(0. 155 - 0. 1325 )/0. 1325 x 100% =1.9% > 16.9% ， 所 以 这 里 不 考虑 
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中 性 的 情感 因素 对 于 虚拟 人 当前 情绪 的 影响 。 另 外 ， 佑 计 出 的 生气 状态 的 比例 因子 0. 155 大 
于 预先 设 定 的 阐 值 0. 13 ， 所 以 当前 的 中 性 情绪 状态 将 被 改变 。 在 运行 系统 时 ， 虚 拟 助理 输 
出 对 应 的 回答 “我 们 的 员工 出 现 了 失误 ”， 同 时 根据 对 各 情感 状态 对 应 的 表情 分 类 Exe), 
选择 生气 情绪 状态 下 对 应 的 表情 。 根 据 表 7-4 可 知 ， 当 情感 状态 为 生气 时 ， 对 应 表 中 愤怒 的 
AU 组 合 为 AU27 + AU4 + AU9。 根据 三 组 AU 对 应 的 节点 ， 系 统 自动 进行 面部 表情 合成 的 运 
动 计算 ,输出 结果 如 图 7-30 所 示 。 




















图 7-30 ”情感 交互 系统 运行 界面 之 二 








本 节 涉 及 的 内 容 包 括 人 机 交互 模型 、 用 户 界面 模型 、 用 户 界面 设计 方法 及 拟人 化 人 机 交 
互 技术 。 其 中 ， 人 机 交互 模型 用 到 了 图 形 图 像 的 相关 技术 ; 用 户 界面 模型 采用 了 结构 化 模 
型 ; 用 户 界 面 设计 方法 是 基于 人 工 心 理 情感 模型 进行 设计 的 ; 拟人 化 人 机 交互 技术 具体 涉及 
了 虚拟 现实 技术 中 的 三 维 交互 技术 ， 即 OpenGL 技术 。 首 先 ， 情感 虚拟 人 系统 需要 有 一 个 表 
现 的 载体 ， 第 一 步 就 要 构建 三 维 人 脸 模型 ， 这 涉及 许多 领域 的 知识 ， 比 如 图 像 图 形 处 理 技 
术 、 三 维 建 模 技 术 、 表 情 合成 技术 等 。 而 要 再 赋予 它 以 情感 ， 又 要 进一步 涉及 到 情感 计算 、 
心理 学 、 生 理学 及 信息 科学 等 领域 的 理论 和 方法 。 这 是 一 项 非常 庞大 和 复杂 的 研究 工作 。 本 
节 以 Candide 模型 作为 通用 模型 ， 对 网 格 进行 纹理 贴图 后 ， 通 过 控制 AU 来 控制 人 脸 模 型 的 
面部 表情 ， 达 到 参数 化 控制 的 目的 ， 进 而 可 以 精确 合成 多 种 表情 。 

构建 三 维 人 脸 模型 及 实现 表情 合成 的 步骤 如 下 : 

1) 构建 三 维 人 脸 模 型 。 现 有 的 研究 领域 中 ， 有 很 多 完善 的 人 脸 模型 可 以 借鉴 使 用 。 这 
里 ， 采 用 了 Candide 网 络 模型 。Candide 网 络 模型 是 一 个 基于 图 形 数据 的 人 脸 。 它 是 由 一 些 
多 边 形 组 成 的 三 维 立 体 。 构 建 三 维 人 脸 ， 首 先 需要 定义 顶点 ， 其 次 需要 定义 表面 ， 然 后 定义 
AUV。 在 VC++ 环 境 下 借助 OpenGL 图 形 库 ， 初 步 得 到 的 具备 75 个 节点 的 Candide 网 格 模 
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型 。 

2) 具备 了 基础 的 人 脸 三 维 网 格 模型 后 ， 需 要 让 该 模型 能 适应 特定 的 人 脸 。 这 就 需要 进 
行人 脸 模型 变换 。 基 于 网 格 模型 中 的 特征 点 ， 结 合 对 应 的 2D 人 脸 图 像 ， 本 节 采 用 了 先进 行 
全 局 变换 ， 后 进行 局 部 变换 的 方法 。 最 后 可 以 使 Candide 网 络 模型 很 好 地 适应 2D 图像 中 的 
人 脸 模 型 特征 。 

3) 在 完成 对 特征 点 的 三 维 坐标 调整 之 后 ， 需 要 确定 非特 征 点 的 位 置 。 这 里 我 们 利用 径 
向 基质 值 算法 计算 非特 征 点 的 三 维 坐 标 。 通 过 采用 著名 的 FACS 〈 脸 部 表情 编码 系统 ) 方 
法 ， 特 别 选取 能 控制 合成 人 脸 大 部 分 表情 的 12 组 AU， 通 过 控制 AU 来 实现 表情 的 分 析 与 合 
成 。 针 对 不 同 表情 对 应 不 同 的 AU 组 合 的 原理 ， 通 过 键盘 的 控制 而 改变 其 对 应 的 FAP 量 值 ， 
使 每 个 FAP 包含 的 节点 在 变化 范围 内 进行 运动 ， 从 而 在 达到 理论 上 可 以 合成 任意 表情 的 功 
能 ， 并 可 以 治 X、7、2 轴 进 行 任意 角度 的 旋转 。 

4) 构建 完 模 型 后 ， 就 要 进行 纹理 贴图 。 本 节 采 用 了 线 积分 卷 积 法 来 进行 纹理 的 向 量 场 
映射 方法 。 同 时 ,根据 自动 产生 的 纹理 贴图 ，3D 人 脸 模型 的 纹理 坐标 可 以 通过 将 3D 坐标 
系 映射 进入 到 纹理 空间 而 得 到 。 

根据 人 工 心理 情感 模型 ， 将 基于 FFM 和 BBN 的 情感 模型 应 用 于 虚拟 人 交互 系统 ， 详 细 
阐述 了 模型 初始 数值 的 选择 方法 ， 结 合 所 构造 虚拟 人 物 的 性 格 特征 ， 给 定 了 初始 值 和 训练 数 
据 。 通 过 算法 进行 情感 反应 计算 ， 用 Visual C ++ 进行 了 界面 设计 。HMM 比较 适合 人 类 心理 
的 特征 描述 ， 但 是 它 有 分 类 能 力 差 、 对 于 相似 的 类 别 方面 不 易 区 分 的 缺点 ， 而 BBN 在 决策 
能 力 和 对 不 确定 信息 的 描述 能 力 是 很 强 的 。 这 里 ， 依 据 所 构建 的 情感 虚拟 人 个 性 化 模型 ， 设 
计 了 一 个 对 话 的 场景 ， 即 一 位 经 理 和 他 的 虚拟 助理 之 间 的 对 话 。 对 于 任 一 可 能 的 输入 ， 在 交 
互 界 面 上 ， 通 过 对 话 框 的 内 容 ， 对 心理 状态 的 转换 计算 出 心情 出 现 的 概率 大 小 ， 并 对 前 面 内 
容 中 描述 的 不 同 的 情感 状态 下 的 种 种 可 能 的 回答 进行 编码 。 根 据 这 些 可 能 性 、 个 性 化 和 情绪 
处理 模块 选择 最 后 的 回答 。 在 确定 最 后 的 情感 状态 后 ， 系 统 自动 选择 对 应 的 表情 分 类 ， 进 行 
实时 合成 ， 通 过 情感 表达 界面 显示 出 此 时 虚拟 人 的 表情 动画 。 
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第 8 音 个 人 服务 机 器 人 技术 


8.1 服务 机 器 人 


8.1.1 概述 


相对 于 已 经 相当 成 熟 的 工业 机 器 人 来 说 ， 服 务 机 器 人 是 近年 来 才 出 现 的 机 器 人 学 研究 中 
的 一 个 新 领域 。 仅 仅 从 字面 上 理解 的 话 ， 各 种 可 以 直接 或 间接 为 人 类 服务 的 机 器 人 都 属于 服 
务 机 器 人 的 范畴 ， 但 到 目前 为 止 ， 国 际 上 对 服务 机 器 人 也 还 没有 -一 个 权威 性 的 定义 。 

《国家 中 长 期 科学 和 技术 发 展 规划 纲要 (2006 一 2020 年 )》 中 指出 了 将 智能 服务 机 器 人 
作为 先进 制造 技术 的 前 沿 技术 的 研究 方向 。 智 能 服务 机 器 人 是 在 非 结 构 环 境 下 为 人 类 提供 必 
要 服务 的 多 种 高 技术 集成 的 智能 化 装备 ， 以 服务 机 器 人 和 危险 作业 机 器 人 应 用 需求 为 重点 ， 
研究 设计 方法 、 制 造 工艺 、 智 能 控制 和 应 用 系统 集成 等 共性 基础 技术 。 

关于 服务 机 器 人 的 定义 ， 国 际 机 器 人 联合 会 提出 :; “服务 机 器 人 是 一 种 半 自 主 或 全 自主 
工作 的 机 器 人 ， 它 能 够 完成 有 益 于 人 类 健康 的 服务 工作 ， 但 不 包括 从 事 生产 的 设备 。” 

另外 ， 德 国生 产 技术 与 自动 化 研究 所 对 服务 机 器 人 的 定义 则 为 : “服务 机 器 人 是 一 种 可 
以 全 自主 或 半 自 主 地 为 人 类 或 设备 提供 有 用 服务 的 机 器 人 。” 其 他 国家 的 科学 家 对 服务 机 器 
人 的 定义 又 与 上 面 两 种 定义 不 尽 相同 。 

与 工业 机 器 人 注重 精密 、 快 速 和 高 效 相 比 ， 服 务 机 器 人 则 更 重视 安全 、 可 靠 和 使 用 方 
便 。 这 是 因为 服务 机 器 人 更 贴近 人 类 的 日 常生 活 ， 其 使 用 者 在 许多 场合 下 是 并 未 受过 专门 教 
育 和 培训 的 普通 人 ， 只 有 满足 安全 、 可 靠 和 使 用 方便 这 些 基本 条 件 的 服务 机 器 人 才能 够 被 社 
会 所 认可 ， 进 而 走 进 人 们 的 日 常生 活 。 

在 服务 机 器 人 领域 ， 公 共 服 务 机 器 人 的 范围 最 为 广泛 ， 只 要 能 够 为 公众 或 公用 设备 提供 
服务 的 机 器 人 都 属于 服务 机 器 人 ， 例 如 在 展览 会 会 场 、 办 公 大 楼 、 旅 游 景 点 为 客人 提供 信息 
咨询 服务 的 迎 宾 导 游 机 器 人 ， 在 建筑 物 内 或 居民 区 内 进行 自动 巡视 的 保安 巡逻 机 器 人 ， 加 j 
站 里 的 自动 加 油 机 器 人 ， 高 楼 擦 窗 和 壁面 清洗 机 器 人 ， 飞 机 清洗 机 器 人 ， 下 水 道 清 洗 机 器 
A, 不 停电 状态 下 更 换 绝缘 体 的 高 空 作 业 机 器 人 等 。 此 外 ， 还 包括 
机 器 邮递 员 以 及 用 于 多 种 用 途 的 自主 移动 机 器 人 平台 ， 它 们 可 在 办 
公 室内 部 传递 信件 或 其 他 物品 。 对 服务 机 器 人 的 研究 主要 有 以 下 几 
个 领域 : 

1. 家 用 机 器 人 

在 家 用 机 器 人 中 最 著名 和 最 则 型 的 恐怕 应 该 说 是 索尼 公司 的 
AIBO JY ( 见 图 8-1)。 这 不 仅 是 因为 它 拥有 先进 的 性 能 和 较 高 的 
品质 ， 还 在 于 它 是 第 一 个 实现 规模 商品 化 的 宠物 机 器 人 ， 为 研究 有 
社会 交互 能 力 的 机 器 人 打开 了 想象 的 空间 。 从 这 以 后 ， 大 量 的 宠物 图 8-1 ABO Hy 
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机 器 人 不 断 涌现 ， 它 们 所 具有 的 共同 特点 是 : 对 外 界 刺激 有 反应 能 力 ， 能 同人 进行 生动 的 交 
流 ， 这 种 交流 除了 语言 ， 还 有 面部 表情 、 语 调和 身体 姿态 等 。 

另外 一 个 有 较 高 性 能 的 家 用 机 器 人 是 NEC 开发 的 PaPeRo'” (SLI 8-2), PaPeRo AMT 
觉 、 视 觉 ， 是 个 有 个 性 、 有 表情 的 小 型 机 器 人 ， 是 一 个 可 以 与 之 一 起 生活 、 能 记 住家 人 的 喜 
好 、 让 每 个 人 都 能 在 不 知 不 觉 间 享受 IT 所 带 来 的 好 处 的 “ 伴 但 " ， 是 NEC 开发 的 “未 来 家 
庭 的 无 键盘 计算 机 ”。 

PaPeRo 具有 散步 模式 和 对 话 模式 ， 在 没有 人 与 之 对 
话 时 ， 进 入 散步 模式 ， 可 以 在 房间 随意 散步 ， 而 在 看 到 
有 人 时 ， 即 进入 对 话 模式 ， 可 与 人 交流 。PaPeRo 约 能 识 
别 650 个 单词 ， 能 说 3000 句 话 ， 能 辨认 人 的 脸 ， 可 以 不 
需 操作 键盘 ， 一 边 与 之 对 话 ， 一 边 进行 许多 其 他 的 工作 ， 
如 上 网 、 收 发 邮件 、 接 收 信息 ， 让 它 自动 传达 必要 的 信 
BS; 利用 它 的 摄 录像 功能 ， 可 以 在 家 庭 成 员 间 传 话 ， 
而 且 它 还 能 够 与 人 猜谜 语 、 跳 舞 、 叫 人 起 床 、 遥 控 电 视 图 8-2 PaPeRo 
等 。 

如 果 对 上 述 技术 加 以 发 展 ， 将 来 的 PaPeRo 可 以 用 来 作为 家 庭 网 络 、 家 庭 安全 系统 等 的 
接口 ;可 以 照看 老年 人 ， 与 远程 医疗 系统 及 残障 人 照看 系统 连接 ;可 以 作为 一 种 教育 工具 : 
与 孩子 一 边 游 戏 一 边 学 习 、 提 问 等 ， 具 有 广泛 的 用 途 。NEC 计划 利用 PaPeRo 在 各 种 不 同 的 
场合 进行 技术 方面 及 机 器 人 与 人 的 关系 方面 进行 试验 、 评 价 ， 并 拓展 其 各 种 各 样 的 可 能 性 ， 
以 家 用 机 器 人 为 目标 谋求 进一步 的 发 展 。 

关于 其 他 家 用 机 器 人 可 参见 参考 文献 [36] ， 文 献 中 对 家 用 机 器 人 有 较为 详细 的 描述 。 

2. 教育 教学 机 器 人 

参考 文献 [37] 的 目标 是 建造 计算 化 的 学 习 伴 侣 。 试 图 帮助 儿童 专注 于 一 个 学 习 任务 ， 
并 且 也 反映 出 一 些 儿 童 的 情感 状态 ， 了 人 解 这 些 情感 状态 在 儿童 的 学 习 经 历 中 所 扮演 的 角色 。 
例如 ， 如 果 儿 童 的 脸 和 姿势 表示 出 对 屏幕 上 显示 的 内 容 有 强烈 的 兴趣 ， 那 么 计算 机 将 保持 不 
动 以 免 干 扰 儿 童 。 如 果 儿 童 转换 他 的 姿势 和 视线 表示 他 在 休息 ， 那 么 计算 机 会 在 适当 时 打 断 
儿童 的 休息 过 程 ， 并 提供 鼓励 措施 激励 儿童 继续 学 习 。 参 考 文献 [38] 把 情感 引入 了 教育 
对 话 领域 , 创造 了 指导 教师 系统 和 学 生 进 行 交 流 的 更 自然 、 更 有 效 的 方式 ， 更 好 地 发 展 了 人 
们 的 教育 交互 方式 ， 参 考 文献 [39] 提出 了 一 个 Aurora (E6) 方案 ， 人 研究 用 机 器 来 帮助 
治疗 孤独 症 儿童 。 参 考 文献 [40] 介绍 了 德国 人 工 智能 研究 中 心 发 展 的 三 个 方案 : 虚拟 剧 
场 、 虚 拟 市 场 和 在 对 话 智能 体 (Agent) 中 ， 引 入 情感 模型 和 个 性 特征 来 帮助 开发 儿童 的 想 
象 力 和 创造 力 。 

3. 家 庭 保健 和 家 庭 护 理 机 器 人 

参考 文献 [41] 介绍 了 一 个 用 于 远程 家 庭 保健 的 情感 智能 界面 。 医 疗 成 本 控制 和 人 口 
老龄 化 都 推动 了 家 庭 卫生 保健 业 的 发 展 ， 探 视 时 间 与 服务 质量 上 的 矛盾 促进 了 远程 健康 家 庭 
医疗 保健 业 的 发 展 。 研 究 者 针对 可 被 识别 的 情感 状态 引入 了 智能 界面 ， 在 远程 家 庭 的 卫生 保 
健 系统 中 人 研究 智能 界面 ， 目 标 在 于 给 卫生 保健 的 供应 者 提供 关于 病人 的 简明 而 有 价值 的 情感 
状态 ， 以 便于 进行 有 效 的 护理 。 将 智能 情感 界面 引入 远程 家 庭 医疗 保健 设备 ， 将 会 改良 情感 
状态 的 评定 和 监测 ， 并 将 潜在 地 提高 远程 家 庭 医疗 保健 的 质量 、 性 能 及 效率 。 病 人 的 情感 水 
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平 风险 将 根据 个 体 情 绪 或 者 全 面 总 体 情绪 来 评定 并 进行 客观 的 监控 。 

参考 文献 [42] 给 出 了 服务 机 器 人 在 家 庭 护理 中 的 应 用 。 人 情感 模块 描绘 了 机 器 人 的 当 
前 状态 ， 并 且 提 供 内 部 反馈 给 机 器 人 的 智能 体 软件 。 

卡 内 基 梅 隆 大 学 发 展 了 一 个 名 为 Nursebot 的 方案 ,目标 是 为 老年 人 提供 帮助 。 另 外 
的 一 个 Pearl 机 器 人 也 有 类 似 的 目标 |。 

Hug (ILEI 8-3) 的 目标 是 传达 了 人 在 遥远 的 距离 进行 号 
体 接触 的 需要 。 方 案 的 设计 者 认为 ， 通 过 电话 或 者 电子 邮件 
进行 的 远程 交流 只 有 语言 和 文本 的 交流 ,但 这 些 对 于 家 庭 成 
员 或 亲友 来 说 是 远 远 不 够 的 ， 他 们 之 间 还 需要 比如 身体 旦 现 
手势 和 触摸 等 方面 的 交流 。Hug 是 一 种 可 以 提供 远程 身体 交 
流 的 机 器 人 ， 它 有 绕 绒 的 外 表 。Hug 可 以 把 对 其 物理 的 挤 压 
转换 成 热量 和 触觉 的 振动 进行 远程 传递 ， 作 为 远程 身体 交流 
的 表达 ，Hug 创造 了 一 个 全 新 的 交流 方式 .5 图 8-3 Hug 

4. 迎 宾 机 器 人 

卡 内 基 梅 隆 大 学 开发 了 一 个 机 器 人 接待 员 Valerie (ILEI 8-4) 1%] Valerie 被 放置 在 卡 内 
基 梅 隆 大 学 校园 内 的 Newell-Simon 大 厅 的 入 口 处 ，Valerie 的 面孔 形象 出 现在 一 个 能 够 转动 方 
向 的 移动 屏幕 上 ， 能 够 与 访问 者 交互 。Valerie 能 够 提供 一 些 天 气 和 方位 方面 的 信息 ， 同 样 
能 够 进行 情绪 交流 ， 可 以 讲 关 于 她 自己 的 故事 ， 她 还 有 “朋友 ”， 有 自己 的 性 格 和 爱好 ， 还 
可 以 接 电话 ， 解 答 一 些 问题 。 东 京 理 科大 学 开发 的 机 器 人 接待 员 ， 面 部 表情 比较 丰富 ， 可 以 
理解 300 多 个 单词 ， 并 有 700 多 种 回答 ( 见 图 8-5) 。 

类 似 的 研究 还 有 参考 文献 [48] 中 描述 的 一 个 博物 馆 向 导 机 器 人 Sage， 可 以 通过 心境 
的 改变 触发 不 同 的 行为 ， 以 及 参考 文献 [49] 中 介绍 的 机 器 人 侍者 〈 见 图 8-6) 。 

























































































图 8-4 Valerie 图 8-5 机 器 人 接待 员 图 8-6 las eae 


5. 一 些 其 他 的 研究 

参考 文献 [50] 介绍 了 一 个 情感 镜子 ， 可 以 把 使 用 者 的 情绪 反馈 给 使 用 者 ， 来 训练 使 
用 者 的 情绪 管理 和 调整 ， 例 如 在 虚拟 工作 面试 场景 中 ， 帮 助人 们 有 更 自然 的 表现 。 参 考 文献 
[51] 介绍 了 一 个 具有 表情 的 电子 邮件 系统 。 另 外 ， 在 参考 文献 [52] P, 斯坦福 大 学 的 
Scott Brave 介绍 了 在 具有 表情 的 玩 牌 系统 中 进行 的 一 项 试验 ， 绪 果 显示 表情 的 出 现 和 不 出 现 
对 使 用 者 的 情绪 有 很 大 的 影响 。 
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8.1.2 个 人 机 器 人 技术 


与 服务 机 器 人 相 比 ， 更 高 的 目标 是 研究 个 人 机 器 人 技术 (Personal Robotics) 。 人 们 把 这 
种 体积 较 小 、 便 于 个 人 拥有 和 携带 、 具 有 智能 和 情感 、 能 与 人 互相 交流 思想 感情 、 能 为 人 们 
提供 各 种 服务 、 供 人 娱乐 的 机 器 人 称 为 个 人 机 器 人 。 它 可 以 是 “相貌 ”与 人 相似 的 类 人 型 
双 足 步行 机 器 人 ， 也 可 以 是 主要 在 智能 和 情感 方面 与 人 相似 的 智能 机 器 人 或 情感 机 器 人 ， 甚 
至 还 可 以 是 外 形 像 某 种 动物 的 宠物 机 器 人 人。 因此， 有些 个 人 机 器 人 也 可 称 为 玩具 机 器 人 或 娱 
乐 机 器 人 。 机 器 人 已 经 并 将 更 近 一 步 进 入 家 庭 生活 ， 为 人 们 提供 各 种 服务 、 供 人 娱乐 、 与 人 
进行 交流 。 这 种 机 器 人 不 仅 具 有 智能 (智能 机 器 人 ) ， 而 且 还 可 具有 人 情感、 性格、 意志 、 创 
造 等 心理 活动 〈 情 感 机 器 人 ) ， 甚 至 还 可 使 其 智能 及 情感 行为 进行 进化 〈 进 化 机 器 人 ) 。 

ANAK, 个 人 机 器 人 的 出 现 ， 正 像 当 年 个 人 计算 机 的 出 现 一 样 ， 标 志 着 一 个 约 新 时 代 
一 一 后 PC 时 代 的 到 来 。 有 一 天 个 人 机 器 人 也 会 和 个 人 计算 机 一 样 ， 成 为 到 处 都 在 使 用 的 工 
具 ， 成 为 人 类 的 好 朋友 和 生活 的 伴 但。 

被 视 为 后 PC 时 代 标 志 的 个 人 机 器 人 从 1999 年 开始 纷纷 面世 ， 以 至 于 1999 年 被 称 为 个 
人 机 器 人 元 年 。 最 典型 的 是 从 1999 年 5 月 29 日 开始 ， 在 不 到 两 天 的 时 间 内 ， 日 本 索尼 公司 
生产 的 “ AIBO” 和 美国 Tinger Electronics 公司 生产 的 “ Fabee” 就 相继 在 日 、 美 两 国 上 市 。 

AIBO 是 外 形 像 哈 巴 狗 的 机 器 人 ， 有 头 、 躯 干 、 尾 巴 ， 还 有 四 条 带 关节 的 腿 。 尽 管 它 的 
售 价 高 达 25 万 日 元 ( 约 合 2200 美元 ) ， 而 且 限 量 出 售 (在 日 本 出 售 3000 只 ， 在 美国 出 售 
2000 只 ) ， 但 是 在 日 本 仅 20min 内 3000 只 便 一 售 而 空 。Fabee 比较 简单 ， 像 绒布 制 的 玩具 ， 
但 上 市 的 那 一 天 ， 玩 具 店 门 前 也 排 起 了 长 队 。 

AIBO 与 Fabee 虽然 复杂 程度 悬殊 ， 但 它们 都 可 通过 和 人 进行 交流 来 “学 习 ” 某 些 动作 ， 
表现 某 种 感情 〈 高兴、 不 高 兴 等 ) 。 它 们 共同 的 特点 有 : 也 因 体 型 小 ， 可 以 成 为 个 人 的 从 属 
物 ， 因 而 称 为 个 人 机 器 人 ; @ 对 外 界 刺激 有 反应 ， 能 学 习 、 成 长 ， 像 活 的 动物 一 样 ; 他 可 以 
同人 进行 生动 的 交流 。AIBO 和 Fabee 都 用 于 娱乐 ， 美 国 微软 公司 推出 的 “ Actimaes” 也 一 
样 ， 所 以 这 种 个 人 机 器 人 也 被 称 为 玩具 类 机 器 人 。 还 有 一 些 个 人 机 器 人 可 作 别 的 用 途 ， 如 日 
本 欧姆 龙 公司 的 “Tum” 机 器 人 同人 之 间 用 语言 进行 交流 ， 具 体 可 用 于 指导 人 如 何 使 用 
ATM (自动 柜员 机 ); 松下 公司 的 “宠物 机 器 人 ” 则 可 用 于 帮助 扳 独 老人 在 发 生 重 大 事情 
(如 疾病 ) 时 同 外 界 进 行 联系 。 

个 人 机 器 人 的 主要 支撑 技术 如 下 : 

(1) ERER 像 人 的 “ 眼 、 耳 、 鼻 、 和 天、 皮肤 ”一 样 ， 使 个 人 机 器 人 有 具有 视觉 、 听 
觉 、 嗅 觉 、 味 觉 、 触 觉 等 感觉 功能 ， 通 过 这 些 传感器 相应 的 处 理 电路 ， 可 以 把 外 界 的 各 种 信 
息 转 换 成 数字 信号 存储 在 计算 机 中 ， 以 为 后 续 的 处 理 做 准备 。 

(2) 语音 识别 技术 ”对 由 传感器 得 来 的 语音 信号 进行 处 理 ， 以 判别 “说 话 者 是 谁 ”或 
“说 话 的 内 容 是 什么 ”， 利 用 这 一 技术 可 以 使 计算 机 听 懂 人 的 话 ， 并 作出 正确 的 反应 。 语 音 
识别 系统 可 分 为 非特 定 人 语音 识别 系统 和 特定 人 语音 识别 系统 。 

(3) 语音 合成 技术 ”要求 根据 文字 资料 等 内 容 ， 拼 读 成 语音 信号 ,使 人 们 通过 “ 听 ” 
就 可 以 明白 信息 的 内 容 。 语 音 合成 技术 ,使 计算 机 具有 了 “说 ”的 能 力 ， 能 够 将 信息 “ 读 ” 
给 人 类 听 。 利 用 语音 合成 技术 可 以 使 个 人 机 器 人 通过 说 话 来 表达 它 的 意愿 和 情感 ， 与 语音 识 
别 技术 结合 起 来 ， 就 可 以 使 个 人 机 器 人 与 人 类 交谈 。 
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(4) 图 像 识 别 技术 ”对 由 视觉 传感器 得 来 的 数字 图 像 按 一 定 的 算法 做 进一步 处 理 ， 使 
计算 机 能 理解 图 像 的 意义 。 对 个 人 机 器 人 来 说 ， 就 是 要 使 其 能 把 人 和 其 他 景物 区 分 开 来 ， 能 
识别 人 脸 ， 能 识别 人 类 面部 表情 。 

(5) 通信 技术 实现 网 络 和 机 咒 人 之 间 的 交互 功能 。 

(6) 计算 机 技术 计算 机 就 像 人 的 大 脑 和 神经 系统 一 样 构成 个 人 机 融 人 的 核心 部 件 ， 
承担 信息 的 采集 、 处 理 、 存 储 、 计 算 等 任务 。 个 人 机 器 人 所 具有 的 智能 和 情感 都 需要 计算 机 
根据 人 工 智 能 和 人 工 心 理 等 有 关 理 论 及 模型 进行 计算 才能 获得 。 可 以 采用 单片机 技术 或 基于 
PC 的 藤 入 式 系统 来 实现 。 

(7) 人 工 心 理 数字 化 技术 个 人 机 絮 人 应 该 具有 人 工 智能 和 人 工 情感 ， 应 该 使 人 感到 
聪明 、 活 泌 、 有 趣 。 要 做 到 这 一 点 ， 除 了 需要 上 述 的 有 关 技 术 作 为 基础 外 ， 还 需要 相应 的 科 
学 理论 支持 。 要 使 个 人 机 器 人 具有 智能 ， 它 就 要 能 够 识别 环境 、 存 储 与 使 用 知识 、 推 理 和 计 
算 ， 这 就 需要 有 人 工 智能 的 理论 来 支持 ;要 使 个 人 机 器 人 具有 情感 ， 能 够 根据 外 界 环境 的 变 
化 产生 各 种 情绪 、 表 情 及 相应 的 行为 ， 并 能 体现 出 机 器 人 所 具有 的 性 格 ， 这 也 需要 人 工 心理 
的 数字 化 技术 来 支持。 


8.1.3 ”情感 机 器 人 


情感 机 器 人 (Emotional Robotics) 是 近年 来 机 器 人 研究 领域 兴起 的 一 个 新 的 研究 热点 。 
情感 机 器 人 既是 人 工 情感 的 重要 研究 和 应 用 对 象 ， 也 是 人 研究 开发 人 工 情感 的 高 效 实 验 和 演示 
平台 5 。 世 界 各 国 的 实验 室 都 在 这 一 领域 展开 研究 ， 如 日 内 瓦 大 学 的 Klaus Scherer 领导 的 情 
感 研究 实验 室 、 布 鲁 塞 尔 自 由 大 学 的 D. Canamero 领导 的 情感 机 器 人 研究 小 组 及 英国 伯 明 验 
大 学 的 A. Sloman 领导 的 认 知 与 情感 研究 项 目 (Cognition and Affect Project) 等 。 我 国 对 这 一 
领域 的 研究 始 于 20 世纪 90 年 代 ， 大 部 分 研究 工作 是 针对 人 工 情 感 单元 理论 与 技术 实现 ， 如 
多 功能 感知 机 ， 主 要 包括 表情 识别 、 人 脸 识 别 、 人 脸 检测 与 跟踪 、 手 语 识别 、 表 情 合 成 、 
层 读 等 基于 人 工 情感 的 机 器 人 控制 体系 结构 的 研究 。 

日 本 索尼 公司 生产 的 “AIBO”、 美 国 Tiger Electronics 公司 生产 的 “Fabee” 和 韩国 科学 
技术 高 等 研究 院 生 产 的 “RITY” 都 是 属于 情感 机 器 人 。 尽 管 它们 之 间 复 杂 程 度 悬 殊 ， 但 都 
可 通过 同人 进行 交流 来 “学 习 ” 某 些 动作 ， 表 现 某 种 感情 。 它 们 的 共同 特点 有 : 对 外 界 的 
刺激 ， 能 产生 有 情感 的 反应 ， 并 且 能 学 习 、 成 长 ， 像 活 的 动物 一 样 ， 可 以 同人 进行 生动 的 交 
流 。 人 情感 机 器 人 使 人 有 一 种 “只 属于 自己 ”的 感觉 ， 人 们 认为 情感 机 器 人 的 出 现 ， 正 像 当 
年 个 人 计算 机 的 出 现 一 样 标 志 着 一 个 刀 新 时 代 的 到 来 ， 有 一 天 机 带 人 也 会 和 个 人 计算 机 一 
样 ， 成 为 到 处 都 在 使 用 的 工具 ， 成 为 人 类 的 好 朋友 。 机 器 人 发 展 方向 的 一 个 重要 特点 ， 就 是 
有 具 有 情感 ， 并 且 与 人 类 能 够 进行 情感 的 交互 。 

随 着 计算 机 、 微 电子 、 信 息 技术 的 快速 进步 ， 未 来 机 器 人 的 发 展 呈 现 以 下 趋势 ; 

1) 传 感 型 智能 机 器 人 进一步 发 展 。 作 为 传 感 型 智能 机 器 人 基础 的 机 器 人 传 感 技术 有 了 
新 的 发 展 ， 各 种 新 型 传感器 不 断 出 现 ， 多 传感器 集成 与 融合 技术 在 智能 机 器 人 上 获得 应 用 。 
采用 多 传感器 集成 和 融合 技术 ， 利 用 各 种 传 感 信息 ， 获 得 对 环境 的 正确 理解 ， 使 机 器 人 系统 
具有 容错 性 ， 保 证 系统 (尤其 是 移动 机 咒 人 系统 ) 信息 处 理 的 快速 性 和 正确 性 。 在 多 传 感 
需 集 成 和 融合 技术 研究 方面 ， 人 工 神经 网 络 的 应 用 特别 引 人 注 目 ， 成 为 一 个 研究 热点 。 

2) 新 型 智能 技术 不 断 开发 与 应 用 。 临 场 感 技术 能 够 测量 和 估计 人 对 预测 目标 的 拟人 运 
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动 和 生物 学 状态 ， 显 示 现 场 信息 ， 用 于 设计 和 控制 拟人 机 构 的 运动 。 多 媒体 和 虚拟 现实 
(VR) 技术 是 新 近 研 究 的 智能 技术 ， 它 是 一 种 对 事件 的 现实 性 从 时 间 和 空间 上 进行 分 解 后 重 
新 组 合 的 技术 。 这 一 技术 包括 三 维 计算 机 图 形 学 技术 、 多 功能 传感器 的 交接 口技 术 及 高 清晰 
度 的 显示 技术 。 多 智能 机 器 人 系统 是 近年 来 开始 探索 的 一 项 智能 技术 ， 它 是 在 单 体 智能 机 顺 
发 展 到 需要 协调 作业 的 条 件 下 产生 的 。 在 诸多 新 型 智能 技术 中 ， 基 于 人 工 神经 网 络 的 识别 、 
检测 、 控 制 和 规划 方法 的 开发 和 应 用 占有 重要 的 地 位 。 基 于 专家 系统 的 机 带 人 规划 获得 新 的 
发 展 。 遗 传 算法 和 进化 编程 已 成 为 机 器 人 系统 的 新 型 优化 、 编 程 和 控制 技术 。 

3) 采用 模块 化 设计 技术 。 智 能 机 器 人 和 高 级 工业 机 器 人 的 结构 要 力求 简单 紧凑 ， 其 高 
性 能 部 件 甚至 全 部 机 构 的 设计 已 向 模块 化 方向 发 展 ; 其 驱动 采用 交流 伺服 电动 机 ， 向 小 型 和 
高 输出 方向 发 展 ; 其 控制 装置 向 小 型 化 和 智能 化 发 展 ， 采 用 高 速 和 位 芯片 、 多 处 理 器 和 多 功 
能 操作 系统 ， 提 高 机 器 人 的 实时 和 快速 响应 能 力 。 机 器 人 软件 的 模块 化 简化 了 编程 ， 发 展 了 
离线 编程 技术 ， 提 高 了 机 器 人 控制 系统 的 适应 性 。 

4) 微型 机 器 人 的 研究 有 所 突破 。 已 经 开发 出 手指 大 小 的 微型 移动 机 器 人 ， 可 用 于 进入 
小 型 管道 进行 检查 作业 。 微 型 驱动 咒 是 开发 微型 机 器 人 的 基础 和 关键 技术 之 一 。 

5) 机 恬 人 应 用 领域 向 非 制造 业 和 服务 业 扩展 , 行走 机 带 人 研究 引起 重视 ， 开 放 式 网 络 
机 器 人 技术 初 见 端倪 。“; 


8.2 ”机 器 人 实验 平台 
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绍 一 个 具有 情感 交互 能 力 的 机 器 人 实验 系统 ， 并 介绍 对 机 器 人 的 情感 信息 处 理 和 
行 研究 的 情况 ， 叙 述 人 工 心理 情感 模型 在 机 器 人 中 的 应 用 ， 并 对 多 情感 信息 刺激 
的 转移 规律 进行 介绍 。 








语音 是 一 个 交流 情绪 的 有 效 方法 。 语 音 的 基本 情绪 内 容 有 音 高 、 音 调 (水 平 、 变 调 、 
范围 ) AIRE, Murray 和 Arnott 认为 情绪 引起 的 声音 效果 是 大 致 相同 的 ， 仅 有 微小 差别 。 
尽管 综合 语音 的 质量 与 面部 表情 的 合成 和 身体 语言 相 比 还 很 欠缺 ,但 已 经 证 明 可 产生 带 有 人 情 
感 的 语音 。Cahn 描述 了 一 个 系统 把 情感 品质 映射 到 语音 综合 装置 中 ， 包 括 音 阶 ， 声 音 品 质 
和 音调 :5 。 

目前 情感 语音 已 经 被 使 用 在 几 个 机 器 人 系统 中 。Breazeal 描述 了 Kismet 机 器 人 声音 系统 
的 设计 ， 用 语音 传达 机 器 人 的 情感 状态 “| Nourbakhsh 描述 了 在 一 个 游客 向 导 机 器 人 中 ， 
情绪 如 何 影 响 语 音 合成 ， 例 如 当 机 器 人 泪 吕 时 ,音阶 和 音调 升 高 。 

2. 脸 部 表达 

由 于 机 械 设 计 和 控制 方式 的 局 限 ， 机 器 人 的 面部 表达 行为 一 般 不 自然 ， 例 如 表情 转换 显 
得 突然 、 不 连贯 和 剧烈 ， 这 些 在 现实 中 是 很 少 发 生 的 。 一 般 使 用 的 主要 面部 部 位 是 嘴 、 面 
颊 、 眼 、 眼 眉 和 前 额 。 大 多 数 机 器 人 依照 Ekman 和 Frieser 的 脸 部 表情 编码 系统 表达 情绪 。 

Sparky") All Feelixt 这 两 个 机 器 人 的 面部 表情 比较 简单 〈 见 图 87、 图 8.8) 。Sparky 的 
WAST ARE 〈 眼 四、 眼 蛤 和 嘴唇 ) ， 表 现 一 系列 的 基本 情绪 。Feelix 是 使 用 LEGO Mind- 
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storm 机 器 人 构造 工具 包 而 构建 的 机 器 人 。Feelix 机 器 人 也 有 4 个 自由 度 (MAREA, WA 
嘴唇 ) ， 设 计 展 示 了 6 个 基本 表情 (生气 、 难 过 、 疏 惧 、 快 乐 、 惊 奇 和 中 性 ) 加 上 一 些 复合 
表情 。 

与 Feelix 和 Sparky 机 器 人 相 比 ，Kismet 机 器 人 的 脸 有 15 个 激 
发 器 ， 它 们 常常 协同 工作 显示 专门 的 表情 。Kismet 是 基于 插 补 技术 
在 一 个 三 维 成 分 的 情感 空间 来 产生 面部 表情 的 。 面 部 表情 显得 更 为 
丰富 。 

东京 理工 大 学 设计 的 机 器 人 可 能 是 面部 表情 最 生动 的 机 器 人 
( 见 图 8-9)"”。 这 些 机 器 人 有 头发 、 牙 齿 和 用 硅 树 脂 层 制作 的 皮 
K, 皮肤 下 面 有 多 个 控制 器 ， 这 些 控制 器 可 以 使 机 器 人 产生 丰富 的 
脸 部 运动 和 情绪 表达 。 图 8-7 Sparky 机 器 人 

相对 于 采用 机 械 激发 的 机 器 人 ， 用 计算 机 图 形 和 动画 技术 来 产 
生 面 部 表情 就 要 丰富 和 自然 得 多 。 例 如 卡 内 基 梅 隆 大 学 开发 的 Vikia 机 器 人 ， 是 基于 Delsarte 
的 脸 部 表情 编码 系统 制作 的 三 维 女性 面孔 ( 见 图 8-10)!%1。 因 为 她 的 脸 是 采用 图 像 的 ， 用 
来 产生 表情 的 自由 度 就 多 一 些 ， 表 情 也 显得 自然 丰富 。 
























































图 8-8 Feelix 机 器 人 图 8-9 东京 理工 大 学 设计 的 机 器 人 图 8-10 Vikia 机 器 人 脸 部 


3. 身体 语言 

除 脸 部 表情 之 外 ， 手 势 和 身体 动作 也 常用 来 表现 情绪 。 到 目前 为 止 ， 在 自然 中 发 生 的 大 
多 数 情绪 性 身体 运动 已 经 被 定性 。 比 如 在 参考 文献 [61] F, Frijda 描述 了 一 些 基本 情绪 所 
产生 的 身体 运动 。 

在 参考 文献 [62] 中 ， 提 到 对 于 舞蹈 的 分 析 显 示人 会 由 于 身体 运动 而 产生 情绪 影响 。 
在 参考 文献 [57] 中 ，Scheet 介绍 了 如 何 给 Sparky 机 器 人 设计 平滑 自然 的 运动 。 参 考 文献 
[63] 中 ,介绍 了 可 以 用 走 步 的 姿态 (脚步 壕 组、 身体 弯曲 ) 来 表达 情绪 。 

4. 感知 环境 信息 

要 想 与 人 有 意义 的 交互 ， 理 想 的 机 器 人 应 该 能 够 像 人 那样 感知 外 部 环境 ， 即 感知 和 诠释 
人 所 观察 到 的 同样 的 现象 。 这 就 意味 着 感知 除了 要 求 一 般 的 功能 〈 定 位 、 导 航 、 避 障 ) ， 还 
需要 有 以 人 为 导向 的 感知 能 力 。 因 此 智能 体 需要 追踪 人 的 特征 〈 脸 、 手 、 身 体 ) ， 也 需要 诠 
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释 人 的 语言 ， 包 括 情 感 语音 、 分 解 命令 和 自然 语言 。 另 外 ， 智 能 体 常 ? 
ar 




















(1) 感知 类 型 ”大 多 数 以 人 为 方向 的 感知 属于 基于 被 动 传 感 ， 典 型 的 是 计算 机 视觉 和 
语音 识别 。 被 动 传 感 器 ， 诸 如 CCD 摄像 机 ， 因 为 有 结构 简单 、 价 格 低廉 的 优点 ， 和 常常 被 用 
作 视 觉 感知 的 设备 。 

主动 传感器 〈 声 响 、 红 外 等 ) 尽管 与 被 动 传 感 带 相 比 缺少 灵活 性 ， 也 已 经 引起 人 们 的 
注意 。 尤 其 ， 主 动 传感器 常常 被 使 用 在 动态 环境 下 检测 和 定位 目标 。 

(2) 一 些 感知 的 应 用 。 

1) 人 体 追 踪 : 对 于 人 机 交互 来 说 ， 人 体 追 踪 的 难点 是 寻找 有 效 的 方法 在 多 光源 和 多 变 
的 背景 下 对 人 体 进 行 追踪 。 参 考 文献 [64] 中 对 人 体 追 踪 的 方法 有 概括 性 的 描述 。 

2) 语音 识别 : 语音 识别 的 处 理 过 程 一 般 有 两 步 ， 即 信和 号 处 理 (把 听觉 信号 转换 成 特征 
向 量 ) ， 然 后 进行 搜索 匹配 发 声 到 词汇 。 目 前 大 多 数 系统 使 用 隐 马 尔 可 夫 链 来 寻找 最 可 能 的 
匹配 。 在 参考 文献 [65] 中 ， 对 语音 识别 有 较 好 的 介绍 。 

3) 手势 识别 : 在 人 的 交流 中 ， 常 使 用 手势 作为 语言 的 补充 ， 并 且 能 简洁 地 传达 几何 信 
息 ( 定 位 、 方 向 等 )。 有 很 多 方法 可 用 来 实现 手势 识别 ， 比 如 数据 手套 或 电磁 波 发 射 器 等 ， 
但 基于 视觉 的 方法 不 需要 硬件 ， 有 有 灵活、 自然 的 优点 。 对 基于 视觉 的 手势 识别 ， 比 较 好 的 概 
述 可 参阅 参考 文献 [66] 。 

4) 人 脸 检 测 : 识别 人 最 常用 的 方法 是 人 脸 检 测 。 在 参考 文献 【67] 中 ， 对 人 脸 检测 和 
识别 有 一 个 概述 。 

5) 表情 识别 : 自从 有 达尔 文 的 研究 以 来 ， 面 部 表情 已 经 被 认为 能 够 传达 情绪 的 最 有 效 
的 方式 。 最 近 ， 面 部 表情 也 被 认为 有 表明 意图 的 作用 。Lisetti. C 认为 ， 表 情 识别 有 三 个 基本 
的 方法 ， 即 在 图 像 序列 中 ， 识 别 脸 部 肌肉 运动 ;解剖 模型 追踪 脸 部 特征 ， 诸 如 眼 和 鼻子 之 间 
的 距离 ， 主 成 分 分 析 (PCA) 把 图 像 的 面部 描述 缩小 为 几 个 主要 成 分 进行 分 析 。 参 考 文献 
[68] 中 ， 对 其 有 概述 。 

6) 视线 跟踪 : 视线 能 指明 一 个 人 在 看 和 注意 着 什么 。 人 的 视线 方向 被 两 个 因素 决定 ， 
即 头 的 方向 和 眼 的 方向 。 大 多 数 用 被 动 传 感 顺 系统 仅 追 踪 头 的 方向 。 


8.2.2 机 器 人 的 系统 结构 


建立 实验 系统 的 主要 目的 ， 就 是 为 服务 机 器 人 研究 提供 一 个 综合 试验 平台 。 研 究 需要 包 
括 语音 合成 、 语 音 识别 、 机 器 人 视觉 、 机 妖 人 多 信息 融合 、 机 器 人 运动 规划 、 人 脸 识 别 、 表 
情 识 别 、 人 工 心理 理论 的 验证 和 演示 等 方面 。 所 以 依据 这 些 特点 ， 机 器 人 平台 采用 了 上 下 位 
机 结构 ， 上 位 机 采用 计算 速度 快 具有 各 种 外 部 接口 设备 、 连 接 存 储 空间 大 的 PC 主板 ， 下 位 
机 采用 性 能 价格 比 高 的 PIC16F877 单片机 ， 上 位 机 和 下 位 机 通过 RS-232 上 串 行 口 进行 连接 和 
通信 。 上 位 机 主要 负责 运算 量 大 、 计 算 复 杂 的 图 像 处 理 、 语 音 识别 和 语音 合成 工作 ; 下 位 机 
主要 负责 传感器 信息 接收 及 初级 处 理 、 电 动机 驱动 和 运动 控制 等 工作 。 

机 器 人 外 观 采用 中 国 神话 中 的 孙悟空 造型 ， 其 外 形 如 图 8-11 所 示 。 机 器 人 的 眼睛 由 两 
个 USB 接口 的 CCD 摄像 头 组 成 ， 负 责 图 像 的 采集 ， 可 以 实现 机 器 人 视觉 效果 。 机 器 人 的 每 
只 手臂 由 肩 部 通 机 、 大 臂 舵 机、 肘 部 舵 机 、 手 腕 舵 机 等 4 个 电动 机 组 成 ， 形 成 4 个 自由 度 的 
多 了 舵 机 组 合 系统 ， 能 完全 模仿 人 类 手 辟 的 全 部 功能 ( 如 握手 、 挥 舞 手 臂 、 拥 抱 等 富有 人 类 
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情感 的 动作 ) 。 机 器 人 胸 前 有 一 块 800 像素 x600 像素 的 LCD ， 主 要 功能 是 为 机 器 人 系统 设 

















置 提供 可 视 化 操作 界面 ， 为 语音 交互 显示 提示 信息 和 用 于 机 器 人 视觉 所 采集 到 图 像 的 显示 。 
机 需 人 的 语音 输出 使 用 音响 ， 音 响 固定 在 机 器 人 腿 部 。 机 器 人 的 语音 输入 可 以 采用 有 线 和 无 


线 传 声 器 来 实现 。 机 器 人 的 移动 由 下 
位 机 控制 的 直流 电动 机 来 实现 轮 式 移 
动 ， 并 通过 胸 前 和 底部 的 传 感 絮 感知 
障碍 来 实现 避 障 。 机 器 人 硬件 结构 如 
图 8-12 所 示 。 
悟空 机 器 人 系统 具有 如 下 功能 : 
1) 可 通过 遥控 器 控制 其 行为 动 





作 。 

2) 上 腿 部 为 两 个 CCD 摄像 机 。 

3) 通过 到 达 三 个 传声器 的 声音 之 
间 的 相位 差 ， 可 推断 出 声音 发 出 的 方 
向 ， 并 使 头 部 转向 声音 发 出 的 方向 。 











语音 交互 MIC 


人 体 接近 传感器 





4) 在 头 部 安装 了 指向 前 方 的 传 声 
器 。 人 还 可 使 用 无 线 传 声 关 和 机 器 人 
进行 远 距 离 语 音 交 互 。 这 样机 右 人 就 
能 和 人 进行 更 加 自然 的 交互 。 交 互 内 








寻 线 及 避 障 传感器 





图 





8-11 机 器 人 外 形 


容 主 要 涉及 闲谈 、 诗 词 、 脑 筋 急 转弯 、 生 活 常 识 、 科 学 常识 、 旅 游 常识 、 地 理 、 文 化 ( 饮 








食 文化 、 风 土 人 情 ) 、 点 播 歌曲 、 及 体 语 言 、 情 感 交流 与 表达 。 
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5) 可 利用 超声 波 传感器 测量 其 到 物体 的 距离 。 


上 位 机 

















图 8-12 ”机 器 人 硬件 结构 





6) 它 高 兴 时 ,或 是 靠近 主人 ,或 是 闪 动 LED (发 光 二 极 管 ) ， 或 是 翩翩 起 舞 ， 或 是 与 
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主人 亲密 交谈 等 。 

机 器 人 头 部 有 几 种 不 同 颜色 的 LED 灯 。 当 它 高 兴 时 ， 会 不 停 地 闪 动 绿灯 ， 不 高 兴 时 ， 
会 不 停 地 内 动 红 灯 ， 当 它 在 思考 时 ， 也 会 内 动 LED 灯 。 

7) 机 械 手 臂 可 以 基本 实现 人 体 手臂 的 各 种 功能 ， 例 如 臂 部 的 抬 举 动作 、 臂 部 的 前 后 摆 
动 动 作 、 手 臂 的 弯曲 旋转 动作 。 

悟空 机 器 人 系统 具有 如 下 技术 特点 : 

1) 多 电动 机 协调 控制 及 机 械 结构 设计 ， 主 要 涉及 手臂 、 须 部 、 机 器 人 头 部 的 电动 机 控 
制 机 械 设 计 ; 

2) 机 器 人 情感 模型 构建 ， 并 能 移植 在 服务 机 器 人 中 ; 

3) 机 器 人 情感 识别 与 情感 表达 ( 面部 表情 ); 

4) 服务 机 器 人 多 信息 的 融合 ; 

5) 基于 人 工 心理 的 服务 机 带 人 平台 的 系统 集成 ; 

6) 机 恬 人 的 可 遥控 操作 和 远程 控制 。 


8.2.3 机 器 人 系统 模块 的 划分 


机 器 人 实验 系统 提供 下 位 机 通信 、 图 像 获取 、 人 脸 检 测 、 语 音 识 别 、 语 音 合 成 等 主要 功 
能 ， 使 用 这 些 功 能 在 机 器 人 实验 系统 上 可 以 实现 人 工 心理 相关 技术 和 理论 的 试验 。 其 功能 模 
块 结构 如 图 8-13 所 示 。 机 器 人 系统 包括 下 列 模块 . 

(1) 语音 识别 功能 模块 ”实现 中 文 语音 的 识别 ， 并 可 以 通过 基于 内 容 的 语音 情感 识别 
来 获取 情感 信息 。 

(2) 语音 合成 功能 模块 ”实现 中 
文 语音 的 合成 ， 可 以 通过 语音 内 容 来 
表达 机 器 人 的 情感 。 

(3) 图 像 获 取 功 能 模块 ”实现 视 
频 图 像 的 实时 获取 ， 可 以 用 来 作 姿 态 
识别 ， 并 提供 与 姿态 相关 的 情感 信息 。 

(4) 人 脸 检测 功能 模块 ”获取 人 
脸 图 像 ， 为 人 脸 识 别 和 表情 识别 提供 
良好 的 功能 模块 。 

(5) 下 位 机 通信 模块 。 实 现下 位 
机 通信 ， 获 取 传 感 器 信息 和 控制 机 器 
人 动作 ， 通 过 机 器 人 的 动作 来 表达 情 
感 
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1. 语音 识别 方案 的 选择 

语音 识别 是 个 人 服务 机 需 人 的 主 
要 支撑 技术 之 一 。 语 音 识 别 技术 以 语 
言 为 研究 对 象 ， 涉 及 生理 学 、 语 言 学 、 
计算 机 及 信和 号 处 理 等 多 个 领域 ， 是 语 
言 信号 处 理 的 一 个 重要 研究 方向 。 典 图 8-13 ”机 器 人 功能 模块 结构 
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型 的 语音 识别 系统 如 图 8-14 tan, AFP, FU LS fa SORE, CTE i EAR 
个 体 发 音 差 异 和 设备 与 环境 引起 的 噪声 影响 等 ， 并 涉及 语音 识别 基 元 的 选取 和 端点 监测 问 
题 ; 特征 提取 部 分 用 于 提取 语音 中 反映 本 质 特 征 的 声学 参数 ， 如 平均 能 量 、 平 均 跨 零 率 、 共 
振 峰 等 ; 训练 在 识别 前 进行 ， 通 过 证 讲话 者 说 出 一 些 句子 ， 有 时 需 多 次 重复 某 些 语音 ， 从 原 
始 样本 中 去 除 元 余 信 息 ， 保 留 关 键 数据 ， 再 按照 一 定 规则 对 数据 加 以 聚 类 ， 形 成 语音 模式 
库 ; 模式 匹配 部 分 是 整个 语音 识别 系统 的 核心 ， 它 是 根据 一 定 的 准则 〈 如 茶 种 距离 测度 ) 
及 专家 知识 〈 如 构 词 规则 、 语 法 规则 、 语 义 规则 等 ) ， 计 算 输 入 特征 与 库存 模式 之 间 的 相似 
度 〈 如 距离 匹配 、 似 然 概率 ) ， 判 断 出 输入 语音 的 语义 信息 。 
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RANE | sane 
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结果 
测度 估计 
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。 端 点 检测 语 专家 知识 库 

。 噪 声 滤波 器 
。 构 词 规则 
。 同 音字 判决 
。 语 法 语义 
。 背 景 知识 


图 8-14 语音 识别 系统 


目前 关于 中 文 语音 识别 的 研制 和 开发 的 厂商 有 : Speechworks, Nuance, Philips, Mi- 
crosoft、IBM、L&H 、Infotalk 、 中 科 模 式 识 别 、 天 朗 、 得 意 音 通 、 安 可 尔 通信 、 声 硕 科 技 等 
公司 。 衡 量 一 个 语音 识别 系统 的 优 劣 的 标准 包括 : 

1) 对 说 话 者 的 依赖 程度 ， 是 否 能 识别 非特 定 人 的 说 话 。 

2) 识别 语音 的 类 型 ， 能 识别 孤立 词 的 、 断 续 的 语音 ， 还 是 连续 的 语音 。 

3) 系统 的 词汇 量 ， 是 小 词汇 量 、 中 词汇 量 ， 还 是 大 词汇 量 。 

中 科 模 式 识别 公司 提供 的 ASR 识别 引擎 具有 易 用 性 强 、 识 别 率 高 的 特点 ， 用 户 无 需 进 
行 训练 ， 引 擎 的 设计 已 经 保证 了 非特 定 人 这 一 重要 特点 ; API (应 用 程序 接口 ) 提供 的 管理 
工具 可 以 使 得 用 户 自如 地 定义 自己 所 需 的 词 表 和 语法 ， 以 便 应 付 不 同 的 应 用 需求 。 因 此 ， 在 
机 器 人 语音 识别 系统 中 ， 采 用 Pattek ASR SDK 来 实现 语音 识别 功能 模块 。 

2. 语音 合成 方案 的 选择 

语音 合成 是 通过 机 械 的 、 电 子 的 方法 产生 人 造 语 音 的 技术 。TTS 技术 (语音 转换 技术 ) 
隶属 于 语音 合成 ， 它 是 将 计算 机 自己 产生 的 ， 或 外 部 输入 的 文字 信息 ， 转 变 为 可 以 听 得 懂 
的 、 流 利 的 汉语 口语 输出 的 技术 。 当 前 ， 语 音 合成 的 研究 已 经 进入 文字 -语音 转换 (TTS ) 
阶段 ， 其 功能 模块 可 分 为 文本 分 析 、 前 律 建 模 和 语音 合成 三 大 模块 。 语 音 合成 系统 的 流程 如 
图 8-15 所 示 。 

目前 进行 中 文 语音 合成 的 研制 和 开发 的 厂商 有 : 捷 通 华声 、 炎 黄 新 星 、Infotalk 、 科 大 讯 
K., IBM, Microsoft 等 公司 。 评 价 一 个 TTS 引 敬 的 优 劣 ， 主 要 有 这 么 几 个 方面 : 合成 语音 的 
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符号 语法 分 析 韵律 生成 和 | Ere 


语音 合成 系统 














DAA 


图 8-15 语音 合成 流程 

















自然 度 、 合 成 语音 的 表现 力 、 合 成 性 能 、 多 种 文 语 合 成 等 。 讯 飞 公司 的 TTS 在 中 文 合成 的 
自然 度 、 可 懂 度 、 音 质 等 主要 指标 上 均 名 列 前 茅 ， 是 国内 电信 级 应 用 最 多 的 一 个 TTS 产品 。 
在 机 器 人 平台 中 ,采用 iFly TTS SDK 来 实现 语音 合成 功能 模块 的 开发 。 

3. 人 脸 检 测 方 案 的 选择 

人 脸 和 表情 识别 是 机 器 人 情感 交互 的 重要 研究 方向 ， 而 要 进行 这 些 研 究 的 第 一 步 ， 就 是 
要 在 图 像 或 视频 中 找 出 人 脸 。 人 脸 检 测 (Face Detection) 是 指 在 输入 图 像 中 确定 所 有 人 脸 
(如 果 存 在 ) 的 位 置 、 大 小 和 位 姿 的 过 程 。 人 脸 检 测 作为 人 脸 信息 处 理 中 的 一 项 关键 技术 ， 
近年 来 已 成 为 模式 识别 与 计算 机 视觉 领域 内 一 项 受到 普遍 重视 ， 研 究 十 分 活跃 的 课题 。 人 脸 
识别 或 辨认 、 人 脸 定 位 以 及 人 脸 追 踪 等 都 与 人 脸 检 测 密切 相关 。 在 机 器 人 平台 中 ， 将 人 脸 检 
测 作为 完整 的 单独 功能 模块 ， 为 将 来 机 器 人 进行 人 脸 识别 和 表情 识别 提供 前 期 工作 。 

4. 上 下 位 机 通信 

(1) 通信 方式 的 选择 ”机 器 人 的 上 下 位 通信 结构 如 图 8-16 所 示 。 上 位 机 通过 RS-232 串 
行 口 与 由 单片机 组 成 的 下 位 机 实现 通信 。 


上 位 机 RS-232 串 行 品 ae Lo 舵 机 控制 
b= 


















































(PC) m) (单片机 直流 电动 机 控制 
传感器 检测 





图 8-16 上 下 位 机 通信 构架 





PC 串 行 通信 接口 标准 经 过 使 用 和 发 展 ， 目 前 已 经 有 几 种 ， 但 都 是 在 RS-232 标准 的 基础 
上 经 过 改进 而 形成 的 。RS-323C 标准 是 美国 EIA (Electronic Industry Association, ， 电 子 工 业 协 
Z) 与 BELL 等 公司 一 起 开发 的 、 于 1969 年 公布 的 通信 协议 。RS-232C 标准 (协议) 的 全 
称 是 EIA-RS-232C 标准 ， 其 中 EIA 代表 美国 电子 工业 协会 ，RS (Recommended Standard) 代 
表 推 荐 标准 ，232 是 标识 号 ，C 代表 RS-232 的 最 新 一 次 修改 (1969), RS-232C 标准 最 初 是 
远程 通信 连接 数据 终端 设备 (Data Terminal Equipment DTE ) 与 数据 通信 设备 ( Data 
DCE) 而 制定 的 。 因 而 ， 它 的 电 平 与 TTL 电 平 之 间 需 要 转换 。 
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上 位 PC 通信 软件 采用 Visual C ++ 编程 。Visual C ++ 支持 面向 对 象 的 程序 设计 ， 具 有 结 
构 化 的 事件 驱动 编程 模式 。 在 标准 串 行 口 通信 方面 ，Visual C ++ 提供 了 具有 强大 功能 的 串 
行 口 编程 控件 MSComm。MSComm 控件 可 设置 串 行 通信 的 数据 发 送 和 接收 ， 对 串 行 口 状态 及 
串 行 口 通信 的 信息 格式 和 协议 进行 设置 。 这 是 一 个 标准 的 10 位 串 行 口 通信 ,包括 8 位 标准 
数据 和 数据 的 起 始 位 与 停止 位 。 在 发 送 或 接收 数据 过 程 中 ， 触 发 OnComm 事件 ， 通 过 编程 
访问 CommEvent 属性 ， 了 解 通信 事件 的 类 型 ， 分 别 进行 各 自 的 处 理 。 每 个 MSComm 控件 对 
应 一 个 串 行 口 ， 可 以 设计 多 个 MSComm 控件 来 访问 多 个 串 行 口 。 

MSComm 控件 提供 了 功能 完善 的 串 行 口 数据 的 发 送 和 接收 功能 ，MSComm 控件 具有 两 种 
处 理 方式 : 中 事件 驱动 方式 ， 由 MSComm 控件 的 OnComm 事件 捕获 并 人 处理 通信 错误 及 事件 ; 
@) 查 询 方式 ， 通 过 检查 CommEvent 属性 的 值 来 判断 事件 和 错误 。 

(2) 上 下 位 机 通信 协议 ”在 上 位 机 和 单片机 的 通信 中 ， 确 定 一 个 明确 而 合理 的 通信 协 
议 是 关键 ,包括 对 数据 结构 、 通 信和 方式 、 传 输 速 率 、 检 验 纠 错 方式 及 控制 字符 定义 问题 做 出 
统一 规定 。 上 位 机 向 下 位 机 发 送 一 个 字 节 的 数据 信息 ， 上 位 机 发 送信 息 后 便 等 待 该 下 位 机 的 
接收 应 答 。 当 下 位 机 接收 到 信息 后 ， 将 接收 到 的 数据 返回 上 位 机 ， 如 果 上 位 机 的 发 送 数据 和 
接收 到 的 反馈 数据 一 致 ， 则 表明 这 次 通信 成 功 。 下 位 机 根据 接收 到 的 内 容 给 上 位 机 发 送 相应 
的 反馈 信息 。 如 果 下 位 机 反馈 信息 和 发 送信 息 不 一 致 ， 则 表明 此 次 通信 失败 ， 上 位 机 界面 弹 
出 发 送 失败 提示 消息 。 

上 位 机 和 下 位 机 每 次 发 送 一 个 8 位 数据 。 数 据 的 低 4 位 定义 了 由 直流 电动 机 控制 的 机 絮 
人 移动 动作 ， 高 4 位 定义 了 由 舱 机 控制 的 机 器 人 上 上 及 动作 ， 其 中 定义 了 两 个 特殊 的 数据 来 表 
示 胸 前 测 距 红外 传感器 和 机 器 人 底部 的 避 障 传感器 。 传 感 器 的 传输 数据 、 机 器 人 移动 运 劲 和 
上 肢体 动作 定义 分 别 见 表 8-1 ~ 表 8-3。 

表 8-1 传感器 信息 定义 




































































控制 符 定义 说 明 控制 符 定义 说 明 
11101110 胸 前 10110001 避 障 





表 8-2 移动 动作 控制 字符 定义 























低 4 位 控制 符 定义 动作 低 4 位 控制 符 定义 动作 
0000 前 进 1100 后 退 
0100 左 转 1111 停止 
1000 右 转 


R83 上肢 动作 控制 字符 定义 






































高 4 位 控制 符 定义 动作 高 4 位 控制 符 定义 动作 
0000 DF FE 0111 前 进 摆 臂 
0001 Ek 1000 拥抱 
0011 EAE 1001 召唤 
0100 挥舞 左 臂 1010 敬礼 
0101 挥舞 右 臂 ,左右 臂 合拢 1111 停止 
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8.3 ”机 器 人 实验 系统 的 技术 实现 


8.3.1 机 器 人 语音 识别 的 实现 


机 器 人 语音 识别 功能 模块 利用 Pattek ASR SDK 在 Visual C ++6.0 环境 下 进行 开发 。Pat- 
tek ASR 具有 易 用 性 强 、 识 别 率 高 的 特点 ， 用 户 无 需 进 行 训 练 ， 引 擎 的 设计 已 经 保证 了 非特 
定 人 这 一 重要 特点 ; API 提供 的 管理 工具 可 以 使 得 用 户 自 如 地 定 
义 自己 所 需 的 词 表 和 语法 ， 以 便 应 付 不 同 的 应 用 需求 。 机 器 人 语 
音 识别 功能 模块 的 程序 流程 图 如 图 8-17 所 示 。 

语音 识别 的 初始 化 过 程 如 下 : 在 程序 的 开始 ， 首 先 要 利用 
SDK 提供 的 Asr ”SetSystemDir( ) 函数 设置 识别 引擎 工作 的 系统 目 
录 ， 主 要 是 指定 声学 模型 所 在 的 目录 ， 然 后 利用 Asr _ SysInit ( ) 
初始 化 语音 识别 系统 。 如 果 语 音 识 别 系统 初始 化 成 功 ， 则 可 以 利 
用 Asr _ Linelnit( ResultProc ) 函数 来 创建 一 个 识别 引擎 hLine 并 
指定 该 引擎 识别 结果 出 来 时 的 回调 函数 及 用 户 定义 数据 。 

在 本 节 中 ， 把 回调 函数 定义 为 ae 
DWORD ResultProc ( HASRLINE hLine, const PASR — NOTIFY 


pNotify, DWORD dwUserData ) pas 
Tn A 结束 识 昂 
Bet, pnoy BEDEM, ERANT: 














typedef struct _ ASR NOTIFY 


| 逆 初 始 化 
释放 资源 





int NotifyType; 


int data; 
DWORD dwReserve; 结束 
| ASR NOTIFY, * PASR NOTIFY; 图 8.17 语音 识别 流程 图 


这 个 结构 ， 在 回调 函数 中 ,返回 与 语音 及 识别 结果 相关 的 数 
据 ， 其 中 NotifyType 为 通知 类 型 ， 包 括 : 























NOTIFY RESULT 1 // 识 别 结果 

NOTIFY VOICE LEVEL 2 // 声 音 大 小 

NOTIFY _ UTT _ BEGIN 3 ”// 一 句 话 开始 

NOTIFY UTT END 4 // 一 句 话 结 

data: 当 NotifyType 为 NOTIFY VOICE _ LEVEL 时 ， 表 示 当 前 录音 的 大 小 。NotifyType: 
为 其 他 值 时 无 意义 。 


dwReserve: 保留 ， 无 意义 。 

成 功 创建 一 个 识别 引擎 后 ， 利 用 Asr GrammarLoad () 函数 来 导入 语法 规则 文件 中 的 
语法 规则 ， 并 对 语法 规则 进行 设置 。 语 法 规则 文件 可 以 由 用 户 按照 语法 规则 的 要 求 依 据 需要 
自己 进行 编写 ,语音 识别 所 需要 用 到 的 语法 规则 ， 遵 循 ABNF (Augmented Backus-Naur Form 
扩展 巴克 斯 -诺尔 范式 ) ， 兼 容 W3C (World Wide Web Consortium 万 维 网 联盟 ) 语法 定义 。 
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语法 规则 的 结构 体 如 下 所 示 : 

typedef struct GRAMMAR ACTIVATE 

| 
int nNum; 
char * szRuleName[ 100 | ; 

| HASR GRAMMAR, * PHASR GRAMMAR; 

可 以 使 用 该 结构 来 设置 、 切 换 、 关 闭 识别 引擎 所 对 应 的 语法 规则 。 其 中 : 

nNum: 是 语法 规则 的 数量 。 

szRuleName: 是 语法 规则 的 名 字 ， 一 个 语音 识别 引擎 可 以 设置 多 个 语法 规则 。 

成 功 导 入 语法 规则 后 ， 利 用 Asr  GrammarActivate ( ) 函数 来 激活 语法 规则 ， 设 置 Asr _ 
RecSetAutoWork (true) 由 引擎 内 部 自动 采集 语音 数据 ， 调 用 Asr SetParam () 设置 录音 及 
引擎 相关 的 参数 ， 调 用 Asr RecStartX (hLine) 函数 开始 自动 识别 。 

1. 识别 并 调用 回调 函数 

当 端点 检测 到 语音 大 于 系统 设置 的 起 始 话音 音量 时 ， 进 行 录音 ; 当 语音 小 于 设置 的 结 
音量 时 ， 停 止 录音 。 语 音 识 别 系统 对 语音 进行 识别 ， 通 过 回调 函数 获取 回调 通知 ， 利 用 Asr 
_ GetNBestResult ( ) 获得 识别 结果 。 

如 果 不 再 需要 语音 识别 ， 利 用 Asr RecStopX (hLine) KUFI Asr RecStartX PK% 
开启 的 识别 任务 ， 利 用 Asr LineRelease (hLine) 关闭 hLine 语音 识别 引 警 ， 并 且 释 放 其 相 
关 的 资源 ， 利 用 Asr  SysRelease () 推出 系统 ， 清 除 识 别 系统 申请 的 资源 。 


8.3.2 机 器 人 语音 合成 的 实现 


机 器 人 语音 合成 功能 模块 利用 iFly TTS SDK 在 Visual C ++ 6. 0 环境 下 进行 开发 。 本 节 
用 iFly TTS SDK 开发 语音 合成 模块 具有 高 质量 的 开始 
文本 语音 转换 效果 ， 采 用 了 大 型 语料库 合成 技术 ; 
采用 了 超大 规模 的 自然 语 流 数据 库 的 制作 ， 并 以 
此 作为 数据 统计 和 机 器 学 习 的 训练 数据 ;依据 语 
言 学 、 语 音 学 、 人 工 智能 知识 基础 ， 利 用 机 器 学 
习 中 的 决策 树 、 神 经 网 络 系统 ， 分 别 建立 了 较为 
完善 的 基 频 、 时 长 、 能 量 、 停 顿 模型 ， 具 有 高 效 
的 集成 策略 ， 系 统 可 以 通过 边 合成 边 播放 的 策略 ， 
避免 了 由 于 合成 长 文本 带 来 的 较 大 的 延 时 ， 系 统 
在 分 段 播放 语音 时 ， 用 户 的 任何 打 断 都 可 以 中 止 
该 次 合成 任务 ， 免 去 了 无 谓 的 资源 消耗 ;支持 对 
语 速 、 合 成 风格 、 音 量 等 合成 参数 的 调整 ; 能 保 
证 合成 语音 连续 、 可 懂 、 自 然 ， 相 当 于 普通 人 说 
话 标准 。 机 器 人 语音 合成 模块 的 程序 流程 如 图 8- 
18 所 示 。 

1) 初始 化 。 在 程序 开始 ， 首 先 要 利用 SDK pare lee aap 

















X 





















把 文本 送 到 iFly 
合成 服务 器 





逆 初 始 化 
释放 资源 
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提供 的 TSInitialize () 函数 全 局 初始 化 语音 合成 系统 ， 把 语音 合成 系统 使 用 的 一 些 全 局 数据 
装载 到 系统 内 存 中 。 如 果 语 音 合 成 系统 初始 化 成 功 ， 则 创建 一 个 TTSConnectStruct 对 象 ， 并 
对 其 进行 初始 化 ， 设 置 结构 体 的 各 个 成 员 的 值 。TTSConnectStruct 结构 体 的 定义 如 下 所 示 : 
typedef struct 
| 
TTSDWORD dwSDKVersion; 
CHAR szUserName[ TTS USER NAME MAX]; 
CHAR szCompanyName[ TTS COMPANY NAME MAX]; 
CHAR szSerialNumber[ TTS SERIAL NO MAX]; 
CHAR szServiceUID[ TTS SERVICE UID MAX]; 
CHAR szProductName[ TTS _ PRODUCT NAME MAX]; 
CHAR szTTSServerIP| TTS IP MAXLEN |; 
TTSDWORD dwServicelD ; 
TTSDWORD dwErrorCode ; 





TTSBOOL bUseDefaullt ; 
TTSINT16 nCodePage ; 
TTSINT16 nVID; 
TTSINT16 nAudioF mt; 
TTSINT16 nSpeed; 


TISDWORD dwReserved[ TTS RESERVED LEN]; 

| TTSConnectStruct , * PTTSConnectStruct ; 
其 中 ， 结 构 体 成 员 包括 结构 体 版 本 号 、 连 接 TTS 服务 时 的 用 户 名 、 连 接 TTS 服务 时 的 公司 
名 、 连 接 TTS 服务 时 的 序列 号 等 。 

2) 连接 语音 合成 服务 器 。 对 TTSConnectStruct 对 象 初始 化 后 ， 利 用 TTSConnect () 也 
数 建立 到 语音 合成 服务 器 的 连接 ， 成 功 时 返回 连接 到 TTS 服务 的 服务 实例 句柄 m — hTTSIn- 
stance。 利 用 以 下 两 个 语句 将 语音 识别 的 音 库 设置 为 女声 发 音 ， 停 顿 风格 设置 为 一 气 呵 成 。 

TTSSetSynthParam(m _hTTSInstance, TTS PARAM AVAILABLEVID, 1); 

TTSSetSynthParam(m _hTTSInstance, TTS PARAM _ STALL STYLE, TTS SSL_ VER- 
BOSE) ; 

3) 开始 语音 合成 。 机 器 人 平台 中 ， 采 用 消息 机 制 来 发 送 语音 合成 请 求 。 当 产生 语音 合 
成 请 求 后 ， 调 用 BeginSynth O 函数 对 需要 合成 的 语音 文本 进行 合成 。 在 BeginSynth () 函 
数 中 ， 分 别 定 义 TTSData 和 TTSCallBacks 结构 体 来 表示 合成 过 程 中 的 输入 /输出 信息 和 合成 
过 程 的 回调 函数 与 合成 事件 的 回调 函数 。 其 中 TTSCallBacks 结构 体 的 定义 如 下 所 示 : 

typedef struct 


| 








TTSINT32 nNumCallbacks; 
TISPROCESSCB pfnTTSProcessCB; 
TISEVENTCB pfnTTSEventCB ; 

| TTSCallBacks, * PTTSCallBacks ; 
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其 中 ， 结 构 体 成 员 nNumCallbacks 说 明 每 次 TTS 服务 (客户 连接 ) 中 使 用 的 回调 函数 个 数 ， 
在 本 节 中 ， 它 的 取 值 为 1; 结构 体 成 员 pfnTTSProcessCB 是 合成 过 程控 制 的 回调 函数 指针 ; 
结构 体 成 员 pfnTTSEventCB 是 合成 过 程 中 一 些 事 件 的 回调 函数 ， 一 般 情况 下 ， 不 用 设置 该 函 
数 。 通 过 下 面 这 条 语句 定义 了 合成 过 程控 制 的 回调 函数 ; 

m _TtsCB. pfnTTSProcessCB = SynthProcessProc ; 

4) 利用 TTSSynthTextEx () 异步 合成 函数 ， 把 this 指针 作为 用 户 数据 传递 到 合成 服务 
实例 句柄 。 

5) 合成 过 程 中 ， 每 个 分 句 合成 完毕 时 调用 合成 处 理 过 程 的 回调 函数 ， 在 回调 函数 中 ， 
PlaySound () 函数 播放 合成 语音 。 回 调 函 数 如 下 所 示 : 

TTSRETVAL SynthProcessProc ( HTTSINSTANCE m _ hTTSInstance, PTTSData pTTSData, 

TTSINT32 lParam, PTTSVOID pUserData ) 

6) 合成 结束 ， 释 放 资 源 。 当 TISData - > dwOutFlags 等 于 TTS FLAG DATA END 时 ， 
表示 语音 合成 结束 。 如 果 不 需要 再 合成 文本 ， 需 要 释放 语音 合成 占用 的 资源 。TTSClean (m 
_hTTSInstance) 语句 清除 合成 缓冲 区 ， 把 当前 服务 的 状态 设置 成 初始 状态 ;TISDisconnect 
(m_hTTSInstance) 语句 断 开 与 语音 合成 系统 建立 的 连接 ; TTSUninitialize () 语句 实现 全 局 
逆 初 始 化 语音 合成 系统 ， 从 系统 内 存 中 移出 语音 合成 系统 。 


8.3.3 机 器 人 视觉 的 实现 


目前 ， 在 Windows 平台 下 进行 图 像 采 集 一 般 采 用 两 种 方式 : 一 种 是 基于 视频 采集 卡 所 
附带 的 二 次 软件 开发 包 (Software Development Kit SDK) 进行 ， 这 种 方式 的 优点 是 应 用 
方便 ， 容 易 上 手 ， 缺 点 是 对 硬件 的 依赖 性 较 强 ， 灵 活性 差 ， 且 功能 参差 不 齐 ， 不 能 充分 满足 
各 种 视频 应 用 程序 的 开发 需要 ; 另 一 种 方式 是 基于 VEW (Video for Windows， 微 软 的 视窗 视 
频 操 作 环 境 ) 进行 的 ， 它 的 特点 是 播放 视频 时 不 需要 专用 的 硬件 设备 ， 而 且 应 用 灵活 ， 可 
以 满足 视频 应 用 程序 开发 的 需要 ，Windows 操作 系统 自身 就 携带 了 VFW， 系 统 安装 时 ， 会 
自动 安装 VFW 的 相关 组 件 。 

目前 ， 大 多 数 的 视频 采集 卡 驱 动 程序 都 支持 VEW 接口 ， 它 主要 包括 多 个 动态 连接 库 ， 
通过 这 些 组 件 间 的 协调 合作 ， 来 完成 视频 的 捕获 、 视 频 压缩 及 播放 功能 。VFW 以 消息 驱动 
方式 对 视频 设备 进行 存 取 ， 可 以 很 方便 地 控制 设备 数据 流 的 工作 过 程 。 为 了 能 够 实时 采集 并 
处 理 图 像 信息 ， 我 们 在 机 器 人 平台 中 采用 VFW 作为 应 用 层 的 图 像 采集 工具 ， 直 接 对 内 存 中 
的 视频 数据 进行 操作 。 

1. VEW 简 述 

VFW 是 Microsoft 公司 推出 的 基于 Windows 的 视频 操作 环境 ， 它 提出 了 AVI 文件 标准 ， 
其 中 规定 了 视频 和 音频 的 交错 存放 格式 。VFW 的 开发 工具 为 用 户 提 供 了 一 套 应 用 编程 接口 
(API) ， 通 过 开发 工具 ， 主 要 利用 回调 函数 开发 实现 机 器 人 视觉 处 理 。VFW 工具 包 主 要 由 6 
个 模块 组 成 

AVICAP. DLL: 包含 执行 视频 采集 的 函数 ， 它 给 AVI 文件 IO 和 视频 、 音 频 设备 驱动 提 
供 高 层 接口 。 

MSVIDEO. DLL; 用 一 组 DrawDib 函数 回放 视频 。 

MCIAVL DRV: 该 驱动 提供 对 VFW 的 MCI 命令 的 解释 。 
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AVIFILE. DLL; 支持 由 标准 多 媒体 IO (mmio) 函数 提供 的 高 层 命 令 来 访问 文件 。 

视频 压缩 管理 器 (VCM): 管理 用 于 视频 压缩 /解压 的 编码 器 (Codec), 

音频 压缩 管理 咒 (AVM): 提供 与 VCM 类 似 的 功能 ,不 同 的 是 它 适 用 于 波形 音频 。 波 
形 音频 是 计算 机 播放 音频 的 一 种 重要 形式 ， 它 存储 声音 的 波形 信息 。 其 特点 是 当 播放 波形 音 
频 时 ， 不 管 播放 文件 的 设备 是 何 种 类 型 ， 都 会 得 到 相似 声音 。 

2. 实时 图 像 采 集 

1) 在 实现 视频 采集 之 前 ， 首 先 利 用 Windows API 的 AVICAP 组 件 消 数 capCreateCapt- 
ureWindo w () 建立 视频 捕获 窗口 初始 化 采集 窗 体 的 各 项 属性 ， 如 设置 窗 体 大 小 、 位 置 属 
性 、 标 志 位 等 。 它 是 所 有 捕获 工作 及 设置 的 基础 ， 其 主要 功能 包括 : 中 动态 地 同 视频 和 音频 
输入 器 连接 或 断 开 ; @ 设 置 视 频 捕 获 速 率 ; 3) 提供 视频 源 、 视 频 格式 以 及 是 否 采用 视频 压缩 
的 对 话 框 ; 岂 设 置 视 频 采 集 的 显示 模式 为 Overlay 或 Preview; 名 实时 获取 每 一 帧 视频 数据 ; 
@ 将 一 视频 流 和 音频 流 捕获 ， 并 保存 到 一 个 AVI 文件 中 ; GO 捕获 某 一 帧 数字 视频 数据 ， 并 
将 单 帧 图 像 以 DIB 格式 保存 ; 加 指定 捕获 数据 的 文件 名 ， 并 能 将 捕获 的 内 容 复制 到 另 一 个 
文件 中 。 

2) 通过 capDriveConnect () 宏 连接 捕获 窗口 与 视频 捕获 卡 。 

3) 通过 capDriverGetCaps () 宏 来 获取 视频 设备 的 能 力 ， 通 过 capGetStatus () 宏 来 获 
取 视 频 设 备 的 状态 。 

4) 通过 capPreview (m hCapWnd, TRUE) 宏 设置 视频 采集 的 显示 模式 为 Preview。 视 
频 显 示 有 Overlay 和 Preview 两 种 模式 。 在 Preview 模式 下 ， 要 占用 系统 资源 ， 视 频 由 系统 调 
用 GDI 函数 在 捕获 窗口 显示 ， 显 示 速 度 慢 ， 它 支持 RGB 视频 格式 。 在 Overlay 下 ， 捕 获 视频 
数据 不 占 系 统 资 源 ， 显 示 速 度 快 ， 视 频 采 集 格 式 为 YUV CY 代表 亮度 信号 ，U 、V 是 两 个 色 
差 信 号 ) 格式 。 

5) 通过 capPreviewRate (m _hCapWnd, 30) 宏 设 置 视频 采集 的 显示 图 像 更 奉 率 为 30 
Wis, 

6) 采集 数据 进行 实时 处 理 ， 则 利用 回调 机 制 ， 由 capSetCallbackOnFrame (m _ hCap- 
Wnd, OnFrame) 完成 单 帧 视频 采集 。 


8.3.4 人 脸 检 测 的 实现 
对 于 摄像 头 采集 的 彩色 图 像 ， 包 含 复杂 的 背景 ， 需 要 将 人 脸 检 测 出 来 ， 并 把 检测 出 来 的 
人 脸 进 行 归 一 化 处 理 。 


采用 YC,C, 颜色 模型 。 对 输入 彩色 图 像 进行 颜色 空间 转换 ， 将 其 从 相关 性 较 高 的 RGB 
空间 转换 到 颜色 分 量 互 不 相关 的 YC, C, 颜色 空间 。 转 换 公式 如 下 式 所 示 : 























































































































了 0. 2989 0. 5866 0.1145 || R 
C, |=| 0.5000 -0.4184 -0.0817 || G (8-1) 
C, =0. 1688 -0.3312 0. 5000 || B 














为 了 检测 场景 中 的 人 脸 区 域 ， 建 立 一 个 有 效 的 肤色 模型 是 非常 重要 的 。 统 计 方 法 是 一 种 
常用 的 工具 ， 在 此 用 一 个 随机 变量 表示 像素 值 的 变化 。 该 随机 变量 的 概率 密度 函数 具有 特定 
的 统计 分 布 形 式 ， 其 参数 通过 训练 数据 来 估计 。 为 了 得 到 这 个 统计 分 布 ， 在 30s 内 取 1000 
帧 图像 对 人 脸面 部 肤色 的 茶 一 像素 值 进行 观察 。 从 实验 中 发 现 ， 人 的 肤色 在 色 度 空间 的 分 布 
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aa N(w,6,), FP ae =Ely},x=(C,, C)"; 假设 C,，C, 颜色 分 量 相互 
统计 独立 , WIT 2 S=E| (x-y) (x-y) 。 根 据 肤色 在 色 度 空间 的 高 斯 分 布 , 对 于 图 像 上 
任意 一 点 从 RGB 颜色 空间 变换 到 YCC, 颜色 空间 ， 从 而 得 到 该 点 属于 肤色 区 域 的 概率 如 下 
式 所 示 : 























P(C,,C,) =exp[ - (x -u)'6 ~ (x -u)/2] 
(ay “lai (8-2) 
在 实验 中 ， 属 于 肤色 的 C,、C, 颜色 分 量 的 均值 取 j = (117. 4361, 156.5599)", WI% 
6 如 下 式 所 示 : 


(8-3) 


160. 1301 12.1430 
1430 299. ne 
通过 肤色 模型 ， 将 一 副 彩色 图 像 转 变 为 灰 度 图 像 ， 灰 度 值 对 应 于 该 点 属于 皮肤 区 域 的 程 
度 。 然 后 ， 采 用 动态 平均 阔 值 法 对 图 像 进行 二 值 化 处 理 ， 结 合 水 平 灰 度 投 影 和 垂直 灰 度 投 
影 ， 找 到 人 脸 区 域 的 上 下 边界 ， 对 人 脸 进行 标记 。 
为 方便 对 视频 进行 处 理 ， 定 义 了 一 个 处 理 视频 像素 的 结构 体 ， 其 定义 如 下 。 
typedef struct tag _ PixelRGB 
| 








BYTE b; 
BYTE g; 
BYTE r; 
| PixelRGB; 
视频 数据 是 按 BGR 顺序 在 缓存 中 排列 ， 利 用 capGetVideoFormatSize( hWnd) 得 到 图 像 大 
小 ， 利 用 capGetVideoFormat( hWnd, &bmi, dwFormatSize) 获取 图 像 格 式 ， 定 义 一 个 视频 像 
素 的 指针 指向 视频 数据 PixelRGB * pRGB = (PixelRGB * ) (lpVHdr - >lpData) 。 这 样 就 可 以 
对 数据 进行 处 理 了 。 
机 器 人 实验 系统 利用 肤色 模型 成 功 地 进行 了 人 脸 检 测 ， 人 脸 检 测 结果 如 图 8-18 所 示 。 
其 中 图 8-19a 为 标志 后 的 人 脸 ， 图 8-19b 为 预 处 理 后 的 人 脸 。 





a) b) 





图 8-19 人 脸 检 测 结 果 
a) 标志 后 的 人 脸 ”b) 预 处 理 后 的 人 脸 
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8.3.5 上 下 位 机 通信 的 实现 


上 位 机 通过 RS-232 串 行 口 与 由 单片机 组 成 的 下 位 机 实现 通信 。 上 位 机 通过 Mscomm #8 
件 编程 实现 向 下 位 机 发 送 上 上 肢 动作 控制 指令 ， 下 位 机 通过 单片机 串 行 口 编程 实现 向 上 位 机 反 
人 馈 信 息 和 发 送 传感器 信息 。 上 位 机 实现 向 下 位 机 发 送 控制 指令 的 流程 如 图 8-20 所 示 。 在 通 
信 过 程 中 ， 采 用 事件 驱动 方式 来 处 理 通信 ， 用 OnComm 事件 捕获 并 处 理 通 信 事 件 ， 还 可 以 
检查 和 处 理 通信 错误 ， 具 有 程序 响应 及 时 、 可 靠 性 高 的 特点 ， 适 用 于 机 器 人 控制 。 

1) 初始 化 。 通 过 下 面 语 名 实现 对 串 行 口 的 初始 化 。 串 行 口 初始 化 后 ， 串 行 口号 设置 为 
1， 串 行 口 属性 设置 波 特 率 为 9600bit/s， 无 校 验 ，8 个 数据 位 ，1 个 停止 位 。 可 以 通过 单 击 
“通信 ”按钮 ， 弹 出 对 话 框 对 串 行 口 属性 进行 设置 ， 如 图 8-21 所 示 。 
































图 8-20 上 下 位 机 通信 流程 图 821 串 行 口 属性 设置 窗口 
m ctrlCom. SetCommPort (m nComPort) ; // 设 置 串 行 口号 
m _strComSettings =_T ("9600, n, 8, 1”); // 串 行 口 属性 赋值 
m ctrlCom. SetSettings (m strComSettings ) ; // 设 置 串 行 口 属性 





2) 通过 设置 m _ctrlCom. SetPortOpen( ) 函数 的 参数 为 TRUE 打开 串 行 口 ， 调 用 m ctrl- 
Com. SetInputMode() 函数 来 设置 数据 检 取 方式 ， 通 过 症 ctrlCom. SetRThreshold( ) Pk ALi 
置 何 时 触发 接收 数据 的 OnComm 事件 ， 通 过 m _ctrlCom. SetInputLen() 国 数 设置 当前 接收 区 
数据 长 度 ; 调用 m — ctrlCom. GetInput( ) 函数 先 预 读 缓 冲 区 ， 以 清除 残留 数据 。 

3) 发 送 数据 前 ， 先 利用 String2Hex( ) 函数 将 Cstring 类 型 数据 转换 为 十 六 进 制 数据 ， 
然后 调用 SendInHex( ) 函数 发 送 控制 指令 信息 。 等 待 OnComMscomm( ) 函数 接收 反馈 信息 ， 
如 果 反 馈 信息 与 发 送信 息 相 同 ， 则 结束 发 送 过 程 。 











309 


8.3.6 ”机 器 人 情感 交互 的 实现 


在 用 户 和 机 器 人 交互 的 过 程 中 ， 机 器 人 实验 系统 由 传声器 、USB 摄像 头 和 传感器 获取 当 
前 语音 、 图 像 和 传感器 信息 ， 并 做 出 相应 的 动作 。 在 机 器 人 实验 系统 中 ， 通 过 Windows 的 消 
息 机 制 来 触发 事件 。 机 器 人 情感 交互 的 流程 如 图 8-22 所 示 。 

1) 定义 消息 映射 ON MESSAGE(UM VOIC INFO，VoiRecoIf) ， 处 理 语音 识别 结果 。 
在 语音 识别 的 ResultProc( ) 回调 函数 中 ， 填 加 如 下 语句 发 送 消息 : :: PostMessage (dDlg - > 
m hWnd, UM VOIC_ INFO, 0, 0); 如 果 识 别 有 效 信息 后 ， 调 用 VoiRecoIf( ) 消息 处 理 
函数 。 

2) 定义 消息 映射 ON MESSAGE(UM SENS INFO，SenRecolf)， 处 理 传感器 信息 ，; 
JE OnComMscomm( ) 串 行 口 数 据 帧 听 函 数 中 填 加 如 下 语句 发 送 消息 : :: PostMessage ( dDlg - 
>m hWnd, UM _ SENS _INFO, 0, 0); 如 果 侦 听 到 有 效 信 息 后 ， 调 用 SenRecolf( ) 消息 
处 理 函 数 。 

3) 定义 消息 映射 ON MESSAGE (UM PIC INFO，PicRecolf)， 处 理 图 像 识 别 结 
在 图 像 识别 的 OnFrame( ) 回调 函数 中 填 加 如 下 语句 发 送 消息 : :: PostMessage(dDlg- >m _ 
hWnd, UM _ PIC _INFO, 0, 0); 如 果 识 别 有 效 信息 后 ， 调 用 PicRecolf() 消息 处 理 函 数 。 

为 了 实现 机 器 人 对 用 户 的 交互 动作 的 情感 理解 ， 定 义 了 一 个 Robot feel 结构 体 ， 其 中 
结构 体 成 员 包括 Question, 、Picture 、Sensor 、ActEmotion ， 它 们 分 别 表示 用 户 和 机 器 人 交互 中 
的 语音 识别 结果 、 图 像 识 别 结果 、 传 感 器 信息 、 对 应 的 情感 刺激 。 
typedef struct WukongFeel 


| 























CString Quesiton ; 
Cstring Picture ; 
Cstring Sensor; 

long ActEmotion [3]; 

| Robot feel; 

为 了 方便 实现 机 器 人 具有 情感 的 行为 表达 ， 定 义 了 一 个 Robot _ show 结构 体 ， 其 中 结构 
体 成 员 包括 Answer, Act, Music, Emotion, ， 它 们 分 别 表 示 机 器 人 情感 交互 时 的 具有 感情 的 
语音 回答 、 具 有 人 情感 的 动作 、 具 有 情感 的 音乐 、 对 应 的 情感 状态 。 

typedef struct WukongShow 

| 

CString Answer; 
CString Act; 
Cstring Music; 
long Emotion [3]; 

| Robot show; 

在 机 器 人 实验 系统 中 ， 建 立 了 一 个 简单 的 Wukongdb. mdb 数据 库 。 针 对 机 器 人 平台 情感 
交互 的 需要 ， 该 数据 库 包 括 了 情感 刺激 表 Robotfeel 和 情感 行为 表 Robotshow。 


ON_MESSAGE(UM_VOIC_INFO,VoiRecolf) 






ON_MESSAGE(UM_PIC_INFO,PicRecolf) 







查 y 
o f$ 


询 AE 


查询 


查询 








青 感 行 为 库 


ON_MESSAGE(UM_SENS INFO; SenRecolf) 


Ore 
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在 消息 处 理 函 数 中 ， 首 先 定义 一 个 Robot _ feel 对 象 Wukong _ feel 和 Robot _ show Xf # 
Wukong show， 并 用 当前 获取 的 信息 对 Robot feel 的 成 员 赋值 。 如 图 8-21 PORTA, 1H 
结构 化 查询 语言 (Structure Query Language, SQL) 查询 数据 库 ， 以 机 硕 人 获取 的 信息 为 关键 
字 在 数据 库 中 查询 ， 数 据 库 则 以 符合 发 问 条 件 的 记录 来 获取 与 当前 行为 对 应 的 情感 刺激 。 获 
取 当 前 的 情感 刺激 后 ， 利 用 人 工 心理 规则 对 当前 情感 进行 转移 ， 产 生 新 的 情感 状态 。 如 图 
8-22 中 @ 所 示 ， 以 当前 情感 状态 为 关键 字 在 数据 库 中 查询 ， 数 据 库 则 以 符合 发 问 条 件 的 记 
录 来 获取 当前 情感 状态 的 行为 ， 并 执行 相应 的 情感 行为 。 


8.3.7 ”实验 结果 


这 里 利用 Pattek ASR SDK 在 Visual C ++ 实现 了 语音 识别 功能 ， 利 用 iFly TTS SDK 开发 
实现 了 语音 合成 功能 ， 利 用 Mscomm 控件 编程 实现 对 单片机 通信 ， 通 过 VEW 实现 视频 图 像 
的 采集 ， 并 利用 肤色 模型 来 检测 人 脸 。 机 器 人 在 获取 语音 识别 信息 、 人 脸 检 测 信息 或 单片机 
发 送 的 传感器 信息 后 ， 利 用 消息 机 制 触发 消息 处 理 函 数 。 消 息 处 理 函 数 通 过 查询 情感 刺激 库 
对 当前 信息 进行 情感 理解 ， 然 后 对 当前 机 器 人 情感 产生 影响 而 得 到 当前 情感 ， 并 通过 查询 情 
感 行为 表 做 出 相应 的 情感 行为 。 运 行程 序 后 试验 结果 表明 ， 机 器 人 可 以 和 人 实现 简单 的 情感 
交互 。 机 器 人 实验 系统 工作 界面 如 图 8-23 所 示 。 


oi 




















Al8-23 ”机 器 人 实验 系统 工作 界面 


8.4 机 器 人 的 情感 信息 处 理 





以 人 为 服务 对 象 的 机 器 人 系统 ， 必 须 具 有 机 器 情感 和 人 工 心 理 的 人 机 交互 能 力 ， 否 则 不 
能 称 之 为 具有 人 工 智 能 的 机 器 人 系统 。 所 谓 的 情感 信息 处 理 能 力 ， 主 要 是 指 基 于 生物 特征 、 
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以 自然 语言 和 动态 图 像 的 理解 为 基础 的 “以 人 为 中 心 ”的 智能 信息 处 理 和 控制 技术 能 
8.4.1 语音 情感 信息 处 理 


语言 是 人 类 交际 的 最 重要 的 交流 工具 。 人 类 的 话语 中 ， 不仅 包 含 了 文字 符号 信息 ， 而 且 
还 包含 了 人 们 的 感情 和 情绪 等 信息 。 目 前 从 语音 中 提取 情感 ， 只 是 研究 了 少数 几 种 情感 的 识 
| ， 比 如 喜悦 、 愤 怒 、 忧 伤 、 惊 奇 等 ， 或 只 识别 平静 (Neutral) 和 紧张 (Stresssed) 两 种 类 
THES, Xiao Lin 等 认为 ， 与 一 般 说 话 相 比 ， 带 情感 的 语音 在 以 下 三 组 参数 中 存在 变化 : 语 
音质 量 、 音 调和 说 话 速度 "|。 

一 般 地 说 ， 识 别 语音 中 的 情感 的 工作 流程 分 为 以 下 几 个 部 分 : 对 语音 信号 根据 需要 进行 
预 处 理 ， 然 后 提取 跟 情 感 相关 的 特征 信息 ， 进 一 步 根据 这 些 特 征 进 行 分 类 ， 最 后 得 出 识别 结 
果 。 研 究 发 现 ， 基 音 是 语音 情感 识别 中 最 重要 的 特征 ， 其 次 是 语音 的 能 量 ， 然 后 才 是 发 音 持 
续 时 间 、 发 音速 率 等 其 他 声学 参数 。 人 中 基 音 频率 在 语音 的 情感 识别 中 具有 很 大 的 重要 性 ， 浊 
音 的 声带 振动 基本 频率 称 为 基 音 频率 。 基 音频 率 的 最 大 值 、 最 小 值 、 平 均值 、 范 围 等 经 常 被 
用 作 情 感 识别 的 特征 参数 。@) 共 振 峰 是 反映 声 道 特性 的 一 个 重要 参数 。 声 道 可 以 看 成 是 一 根 
有 具 有 非 均 匀 截 面 的 声 管 ， 在 发 音 时 起 共鸣 器 作用 。 当 元 音 激励 进入 声 道 时 ,会 引起 共振 特 
性 ， 产 生 一 组 共振 频率 ， 这 就 是 共振 峰 ， 它 一 般 包 括 共振 峰 频率 的 位 置 和 频带 宽度 。 语 音信 
号 的 前 4 个 共振 峰 经 常用 作 情 感 识别 的 特征 参数 。(3) 能 量 是 用 于 识别 语音 中 情感 的 重要 特征 
之 一 。 对 于 能 量 方面 的 分 析 ， 常 用 的 特征 参数 有 振幅 平均 能 量 、 动 态 范 围 和 相应 的 平静 语句 
的 振幅 平均 能 量 、 动 态 范 围 的 差 值 等 。 欢 快 、 愤 怒 、 惊 奇 三 种 情感 发 音信 号 和 平静 发 音信 号 
相 比 ， 振 幅 将 变 大 ; 相反 地 ， 悲 伤 和 平静 相 比 ， 振 幅 将 减 小 。 而 且 情 感 信号 具有 这 样 的 倾 
向 ， 即 欢快 、 愤 把、 惊奇 的 平均 振幅 越 大 ， 悲 伤 的 平均 振幅 越 小 ， 其 情感 效应 表现 越 明 显 。 
(@ 语 句 发 音 持续 时 间 是 指 每 一 语句 从 开始 到 结束 的 持续 时 间 。Nicholson 确定 一 句 话 的 开始 
和 结束 的 位 置 采用 的 方法 是 : 把 语音 能 量 和 预先 设 定 的 能 量 阔 值 作 比 较 。 当 语音 能 量 超过 这 
个 闵 值 ， 并 且 在 接 下 来 的 连续 几 帧 都 高 于 这 个 阐 值 ， 标 志 着 一 句 话 的 开始 。 当 语音 能 量 连续 
几 帧 低 于 这 个 阐 值 时 ， 表 示 一 句 话 的 结束 ,1 

在 选 定 特征 并 提取 出 特征 以 后 ， 接 下 来 的 工作 就 是 分 类 。 语 音 情感 的 识别 方法 主要 有 以 
下 几 种 : 

1. 基于 一 定 规则 的 分 类 方法 

这 类 方法 对 提取 的 语音 参数 进行 简单 的 处 理 ， 然 后 按照 一 定 的 规则 对 情感 进行 分 类 ， 比 
如 Xiao Lin 等 的 方法 '“]。 他 请 了 74 名 大 学 生 ， 男 女 各 半 。 这 些 学 生 被 要 求 说 如 下 两 句 话 : 
QD This is my table; QI have won a prize。 每 个 人 将 每 句 话说 两 闹 ， 第 一 遍 不 带 情 感 ， 第 二 遍 
带 有 预定 的 情感 。 分 析 方 法 如 下 : 计算 出 最 高 和 最 低 的 基 音 频率 的 差别 ， 按 照 最 高 和 最 低 值 
的 顺序 ， 音 调 被 分 为 升 调 (Rise) 、 降 调 (Fall) 和 平声 (Flat) 。 它 们 用 下 列 公式 表示 : 
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Flat = | Fy, -Fo 58 (8-4) 
Rise = (Fo, 一 Ko) < -ô (8-5) 
Fall = ( Fo, - Fos) >6 (8-6) 

















式 中 , kA; 6 为 音调 平缓 程度 (Flatness) ABU; Fi 为 在 名 时段 采 样 的 声音 频率 
( 音 高 或 音调 ) 。 


为 了 研究 句子 音调 的 平缓 程度 ， 使 用 了 不 同 的 阔 值 S。 当 音调 的 平缓 程度 超过 一 定 百 分 
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比 时 ， 就 认为 句子 是 不 带 情感 的 ， 和 否则 认为 句子 带 有 某 种 情感 。 实 验 发 现 ,总 的 识别 率 在 
82% 左 右 ， 对 男声 的 识别 准确 率 高 于 女声 。 这 个 实验 所 用 到 的 语句 集 很 小 ， 且 只 区 别 不 带 情 
感 和 带 有 某 种 情感 两 种 情况 ， 虽 然 识别 率 比 较 高 ， 但 是 这 并 不 能 说 明 这 种 方法 是 十 分 有 效 的 
方法 ， 只 能 说 明 音 调 对 于 提取 语音 中 的 情感 是 有 效 的 。 

2. 模式 识别 方法 

Chul Min Lee 等 :把 语音 情感 识别 归结 为 模式 识别 问题 ， 并 提出 了 三 种 方法 : 线性 差 
异 识别 法 (Linear Discriminant Classifier, LDC), k 领域 识别 法 (k-Nearest Neighbour Classifi- 
er，k-NNC) 、 支 持 向 量 机 分 类 如 (Support Vector Machine Classifier, SVC), LDC 是 带 有 高 
斯 概率 分 布 的 参数 方法 ， 估 算 完 参数 的 均值 和 方差 后 ，LDC 利用 贝 叶 斯 ( Bayes) 准则 ， 计 
算出 最 大 后 验 概率 对 情感 进行 分 类 。k-NNC 通过 计算 k 邻 域 的 平均 值 估计 每 类 情感 的 局 部 后 
验 概率 。 在 SVC 方法 中 ， 用 非 线性 的 映射 方法 将 输入 向 量 映射 到 更 高 维 的 特征 空间 中 进行 
计算 。 

Bjom Schulle 对 将 HMM 运用 于 语音 情感 识别 做 了 研究 ' 沾 。 他 采用 了 两 种 方法 : 一 种 是 
从 语音 信号 的 音 高 (Pitch) 和 能 量 轮 廓 (Energy Contour) 中 提取 参数 ， 用 单一 状态 HMM 
对 全 局 参数 进行 计算 ; 另 一 种 方法 使 用 了 连续 的 隐 含 马尔 可 夫 模 型 (CHMM) ， 使 用 语音 信 
号 的 瞬时 特征 来 取代 全 局 参数 ， 这 是 一 个 6 维特 征 向 量 m;,， 如 下 式 所 示 : 

dF, dF, dE, PE, CE, 
m= [Fa dt’ d? dt d? ? de ) 
WP, Fy, 表示 瞬时 音 高 ; 5 表示 瞬时 能 量 ; i 表示 窗口 编号 。 研 究 发 现 ， 采 用 更 多 状态 的 模 
型 能 够 达到 更 好 的 效果 。 

3. 基于 神经 网 络 的 方法 

T. Yamada 等 对 将 神经 网 络 应 用 于 提取 语音 中 的 情感 进行 了 研究， 这 些 情 感 包括 莫 伤 、 
兴奋 、 欢 乐 和 愤怒 。 对 于 这 些 基 本 的 人 类 情感 ， 运 用 神经 网 络 可 以 达到 70% 识 别 率 '”|。 

H. Sato 等 也 采用 了 神经 网 络 技术 ， 其 方法 分 为 两 步 : 第 一 步 是 语音 韵律 的 提取 ; 第 二 
步 使 用 神经 网 络 对 情感 进行 分 类 。 神 经 网 络 有 三 层 ， 采 用 BP 方法 进行 学 习 。29 个 输入 节点 
中 的 28 个 用 来 输入 第 一 步 所 提取 的 语音 信息 ， 最 后 一 个 用 来 输入 它们 的 平均 值 。2 个 输出 
节点 中 ， 一 个 代表 平静 时 的 情感 ， 另 一 个 代表 慎 她 、 悲 伤 或 欢乐 。 该 方法 只 能 把 平静 时 的 情 
感 和 其 他 三 种 情感 区 分 开 来 ， 还 不 能 具体 识别 每 一 种 情感 '”] 。 

语音 情感 识别 的 难点 主要 在 于 定量 地 描述 语音 特征 与 情感 的 关系 ， 目 前 还 缺乏 这 方面 的 
数学 模型 。 从 识别 的 结果 来 看 ， 识 别 率 还 比较 低 ， 目 前 独立 于 说 话 者 的 识别 率 在 50% 左右 ， 
针对 说 话 者 的 识别 率 比 较 高 ， 一 般 在 70% 以 上 ， 如 果 只 区 分 紧张 和 不 紧张 可 以 得 到 更 高 一 
些 识 别 率 。 对 某 些 情感 ， 识 别 率 较 高 ， 某 些 情 感 容 易 被 混淆 ， 原 因 正 如 Silva 所 说 的 ， 即 使 
是 人 ， 也 不 一 定 能 准确 区 分 某 些 情感 ， 比 如 忧伤 和 厌恶 经 常 被 混 涌 ， 慎 冀 和 惊 奇 亦 是 如 此 。 
一 般 认 为 ， 将 语音 的 情感 识别 技术 和 其 他 技术 相 结 合 ， 有 助 于 提高 情感 识别 的 准确 率 。 许 多 
学 者 已 经 把 语音 情感 识别 和 人 脸 表情 识别 结合 起 来 研究 。 另 外 ， 语 音 中 情感 的 识别 和 合成 带 
有 情感 的 语音 是 相辅相成 的 。 合 成 情感 语音 最 重要 的 韵律 参数 包括 振幅 和 基 音 频率 , 通过 修 
改 平静 时 语音 的 发 音 持续 时 间 、 基 音 和 振幅 来 产生 带 有 情感 的 语音 。 
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8.4.2 ”表情 信息 处 理 


人 脸 表 情 识别 是 人 工 心理 研究 的 重要 技术 部 分 ， 也 是 机 右 人 平台 获取 情感 信息 的 重要 方 
法 。 人 脸 表 情 含 有 丰富 的 人 体 行为 信息 ， 对 它 的 研究 ， 可 以 进一步 了 解 人 类 对 应 的 心理 状 
态 。 计 算 机 和 机 器 人 如 果 能 够 像 人 类 那样 具有 理解 和 表达 情感 的 能 力 ， 并 能 够 自主 适应 环 
境 ， 这 将 从 根本 上 改变 人 与 计算 机 之 间 的 关系 ， 使 计算 机 能 够 更 好 地 为 人 类 服务 。 

人 脸面 部 表情 的 产生 是 由 于 肌肉 的 牵引 将 正常 的 人 脸 变形 成 为 有 表情 的 人 脸 。FEkman 和 
Friesen 提出 的 面部 运动 编码 系统 (FACS) 中 ,采用 44 个 能 够 独立 运动 的 表情 活动 单元 
(AU) 描述 面部 动作 ， 这 些 单元 与 使 面部 表情 改变 的 肌肉 结构 紧密 相连 ， 在 这 个 系统 中 ， 还 
定义 了 六 种 最 基本 的 表情 : DAT RM, DR, UR, AE, UR 33 种 不 同 的 表情 
倾向 ， 说 明了 具有 这 六 种 表情 的 人 脸 特 征 与 无 表情 的 人 脸 特 征 相 比 ， 有 相对 独特 的 肌肉 运动 
规律 (中 。 后 来 进一步 的 研究 ， 大 多 数 都 是 在 FACS 的 基础 上 构建 人 脸 表情 模型 ， 所 以 说 这 

一 系统 的 提出 具有 里 程 碑 的 意义 。 后 来 ， 研 究 者 们 进一步 揭示 了 运动 单元 与 肌肉 运动 之 间 的 
关系 ， 提 供 了 表情 识别 的 心理 学 方面 的 依据 。L A. Essa 等 人 把 提取 的 新 运动 单元 命名 为 
FACS + ， 它 是 基于 物理 和 几何 模型 ， 用 模板 匹配 的 方法 识别 表情 的 。 国 内 的 研究 中 ， 提 出 
T FACS’ (转换 FACS) 的 表情 编码 ， 把 运动 单元 的 运动 转化 为 基于 物理 结构 和 肌肉 模型 的 
运动 特征 向 量 序列 ， 对 眼 部 和 嘴 部 分 别 进行 表情 编码 ， 相 应 的 运动 基于 FACS 的 规则 ， 同 时 
又 克服 了 FACS Ay ae?! 。 


8.4.3 ”其 他 情感 信息 处 理 


除了 听觉 、 视 觉 这 两 项 主要 情感 信息 外 ， 情 感 信息 还 包括 触觉 情感 信息 ， 味 觉 情感 信 
息 、 嗅 觉 情 感 信息 。 嗅 觉 是 沉默 的 知觉 , 无 言 的 官能 ， 次 呼吸 ,时 时 在 嗅 闻 。 
薄荷 、 花 香 、 幽 香 、 廊 香 及 恶 具 等 是 嗅觉 中 的 情感 信息 ; 研 、 酸 、 若 、 咸 等 是 味觉 中 的 情感 
RA, AR EM OS, ULMER ORE, 

目前 在 国外 , 有 关 情 感 信 息 处 理 的 研究 , 大 多 是 以 眼 、 耳 、 肤 (视觉 、 听 觉 、 触 觉 的 
感觉 所 给 出 的 物理 信息 作为 计算 机 的 输入 信号 ,如 果 使 用 红外 分 光 仪 、 质 量 分 析 器 、 气 体 色 
谱 分 析 仪 等 , IAT, a (RE, IRIE) 的 感觉 所 给 出 的 化 学 信息 也 可 以 作为 情感 信息 处 
PENH! 。 

从 生理 信号 中 抽取 出 来 的 特征 模式 也 可 以 用 来 识别 情感 信息 。 如 图 8-24 所 示 ， 计 算 机 
在 人 做 出 表情 (如 悲痛 或 愤怒 ) 时 ， 观 察 多 种 收集 到 的 信号 ， 然 后 分 析 哪 种 生理 信号 模式 
和 特定 情感 状态 关系 最 密切 。 然后 计算 机 系统 应 用 先前 分 析 的 结果 ， 根据 收集 到 的 原始 数据 
来 识别 包含 在 信号 中 最 有 可 能 的 情感 信息 。 美 国 MIT 大 学 媒体 实验 室 Picard 教授 的 同事 
Elias Vyzas 的 实验 证 明生 理 信号 特征 怎样 和 模式 识别 工具 结合 起 来 判断 一 个 人 的 情感 状 
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人 类 的 情感 变化 多 端 ， 面 部 表情 、 肢 体 语言 、 语 音 语 调 及 心率 、 血 压 等 生理 特征 ， 都 能 
从 不 同 侧面 反映 人 类 情感 的 波动 Cs; 。 这 些 信息 昌 然 在 表达 方式 、 可 信 度 、 便 重点 上 不 尽 相 








同 ， 但 它们 表现 的 是 同一 情感 的 有 关 信息 ， 它 们 之 间 有 着 必然 的 联系 。 因 此 ， 通 过 融合 来 自 
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K| 8-24 ”愤怒 和 悲伤 两 组 生理 信和 号 

















不 同 途径 的 信息 ， 并 依据 一 定 准 则 对 其 加 以 分 析 、 优 化 、 评 估 ， 就 可 以 得 到 比 单一 途径 更 优 
越 的 辨识 性 能 。 在 机 带 人 实验 系统 中 ， 可 以 模仿 人 类 对 感情 辨识 手段 ， 利 用 语音 、 图 像 技术 
和 传感器 技术 “ 查 颜 观 色 ”， 通 过 D-S (Dempster-Shafer) 证 据 理论 完成 多 分 类 器 的 决策 融 
合 ， 以 达到 更 可 靠 的 识别 效果 。 

D-S 证 据 理论 提出 基本 概率 分 配 (BPA)、 信 任 函 数 (Bel) 和 似 然 函 数 (PL) 的 概念 ， 
用 (Bel, PI] 区 间 描 述 不 确定 信息 ， 继 而 能 够 区 分 “不 知道 ”与 “不 确定 ”。 与 主观 Bayes 
方法 相 比 ，D-S 证 据 理论 不 需要 先 验 信 息 ， 并 且 可 以 处 理由 不 知道 或 知识 不 确定 而 引起 的 不 
确定 性 。 因 此 ， 在 目标 识别 领域 的 各 种 推理 算法 中 ，D-S 证 据 理论 具有 独特 的 优势 。 

D-S 证 据 理论 用 “识别 框架 @” 表 示 所 感 兴趣 的 命题 集 ， 识 别 框架 为 待 识别 对 象 所 有 可 
能 结果 的 集合 所 构成 的 空间 ， 并 把 @ 中 所 有 子 集 组 成 的 集合 记 作 2”， 对 于 2” 中 任何 假设 集 
# AA m(A) € [0,1] ,并 记 作 mm:2” 一 [0,1]。 它 满足 下 列 公 式 的 要 求 : 

m(®) =0 (8-8 ) 


> m(4) = 1 (8-9) 


BK m 为 识别 框架 O 上 的 基本 可 信和 度 分 配 ; 假如 有 4 属于 识别 框架 @,， 则 m (A) 称 为 4 
的 基本 可 信 数 ， 基 本 可 信 数 反映 了 对 4 本 身 的 可 信和 度 大 小 。 
对 于 任何 命题 集 ，D-S 证 据 理论 还 提出 了 信和 度 函 数 的 概率 ， 如 下 式 所 示 ; 
Bel(A) = > m(B) (VAC@) (8-10) 


即 4 的 信 度 函数 为 4 中 每 个 子 集 的 信 度 值 之 和 。 
关于 一 个 命题 4 有 信任 ， 单 用 信 度 函数 来 描述 是 不 够 的 ， 因 为 Bel(A) 不 能 反映 出 怀疑 
4 的 程度 ， 为 此 须 引入 一 个 怀疑 4 的 程度 的 量 。 
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WACO, ÆX: 
Dou(A) = Bel(A) (8-11) 
pl(A) =1 -Bel(4) (8-12) 
则 称 Dou 为 Bel 的 怀疑 函数 ，pl 为 Bel AY (MAE PAL; Dou(A) 为 4 的 怀疑 度 ，pl(4) 为 4 
的 似 真 度 。 
根据 式 (8-9) 和 式 (8-10)， 可 以 用 Bel 对 应 的 m 来 重新 表示 pl: 
pl(4) =1 -Bel(4) = 2 m(B) - 之 m(B) = we m(B) (8-13) 
实际 上 ，[Bel(4) ，pl(4)] 表 示 命 题 GA 的 不 确定 区 间 ， [0, Bel(A) ] 表 示 命 题 4 完全 可 
信 的 区 间 ; 而 [0，pl(4) ] 则 表示 对 命题 “4 为 真 ” 的 不 怀疑 区 间 。 
有 关 信 和 度 的 合成 ，Dempster 提出 了 如 下 的 合成 法 则 : 
如 果 将 命题 看 作 识 别 框架 O 上 的 元 素 ， 对 于 Vm(4) >0， 称 4 为 信 度 函数 Bel 的 焦 元 。 
Ù Bel,/Bel, 是 同一 识别 框架 O 上 的 两 个 信和 度 函 数 ，m, 、m 分 别 是 其 对 应 的 基本 可 信和 度 分 
Ac, 设 4; AIB, NEJC, H Bel, AI Bel, 的 联合 作用 下 ,mi(4;)m(B;) 被 分 配 到 AIB, 上 。 给 定 
ACO, GA A,B, =A, HA m (A) m, (B) WERI A 上 的 部 分 信和 度 ， 而 分 到 4 
上 的 总 信和 度 为 : > m (Aj) m3 (B) ,但 是 当 4 = Ow, PEPER, AM aE 
> pa 分 到 空 集 上 ， 这 显然 不 合理 ， 为 此 可 在 每 一 信 度 上 乘 以 一 个 系数 ， 


A;NB;=Ø 























h- x mm | 使 总 信 度 满足 1 的 要 求 。 至 此 ， 可 以 得 到 两 个 信 度 的 合成 法 


A;NB;=@ 


则 ， 如 下 式 所 示 : 
> m, (A; )m,(B;) 


Aj Bj =A 


m(A) =m, ®m,(A) = (8-14) 
1- >) m,(A;)m,(B;) 


AiNB;= Ø 
对 于 多 个 信和 度 的 合成 (BLA), Om, -m, 表示 nn 个 信息 的 信和 度 分配 ， 如 果 它 们 是 由 独 
立 的 信息 推 得 的 ， 则 融合 后 的 信和 度 函 数 如 下 式 所 示 : 
> []m,(4,) 
iia. (8-15) 


1- X [mca 


在 机 器 人 平台 中 ,采用 传声器 、 摄 像 头 、 传感器 作为 信 息 输 入 通道 ， 通 过 分 析 语 音 、 脸 
部 表情 及 辅助 动作 来 判断 用 户 情感 的 变化 。 基 于 D-S 证 据 理论 的 情感 信息 识别 系统 框架 如 图 
8-25 所 示 。 

各 模 态 信息 分 别 得 到 各 自 的 目标 分 类 排序 ， 并 形成 命题 证 据 区 间 后 ， 依 据 一 定 的 准则 将 
满足 条 件 的 目标 作为 目标 假设 集 ， 再 根据 D-S 合成 规则 计算 融合 的 基本 概率 分 配 (BPA) 、 
Gras (Bel) 和 似 然 函数 CPL) 的 值 ， 最 后 按照 决策 规则 输出 识别 结果 。D-S 证 据 理论 

常 需要 知识 库 的 支持 ， 为 了 使 系统 具有 一 定 的 自学 习 、 自 适应 机 制 ， 需 要 对 知识 库 不 断 进 
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面部 表情 一 一 一 


eS a ks eS OD 








其 他 信息 -| 





知识 库 
维护 管理 


图 8-25 基于 D-S 证 据 理论 的 情感 信息 识别 系统 
8.4.5 机 器 人 情感 行为 的 表达 


同样 ， 机 器 人 在 与 用 户 进行 交互 的 过 程 中 ， 可 以 通过 多 种 方式 来 表达 机 器 人 情感 。 目 前 
国内 外 的 研究 包括 情感 语音 合成 、 情 感动 作 表达 、 人 情感 音乐 表达 等 。 

1. 情感 语音 合成 

情感 语音 合成 是 指 以 更 贴近 人 的 生活 和 接近 人 自然 的 感情 流露 的 方式 来 输出 合成 语音 。 
人 的 情感 被 分 为 基本 类 和 扩展 类 两 种 :% ， 基 本 类 对 情感 的 描述 起 到 重要 的 作用 。 通 常情 况 
下 ， 情 感 语音 的 研究 主要 集中 在 情感 基本 类 与 语音 声学 参数 的 关联 分 析 上 。 目 前 ， 针 对 情感 
基本 类 的 常见 定义 有 : 害怕、 发怒、 高兴、 悲伤、 惊奇 和 厌恶 等 六 种 ， 尽 管 如 此 ， 针 对 不 同 
的 场合 ， 其 分 类 标准 依然 会 有 所 区 别 。 通 常 的 扩展 ， 包 括 区 别 发 奶 的 特征 ， 增 加 茂 视 、 侦 
恼 、 厌 倦 、 担 心 、 傲 慢 和 爱慕 等 ， 这 些 可 以 由 性 别 特征 及 其 他 特征 区 别 开 。 每 一 种 语言 均 包 
含 着 一 些 特 殊 的 情感 用 语 ，Whissell 收集 了 107 种 反映 情感 状态 的 词 '”1 ，Plutchik 则 列 出 了 
142 种 反映 情感 状态 的 词 :” ， 这 些 词 覆 盖 了 很 大 范围 的 情感 状态 ， 只 有 很 少 一 部 分 可 以 被 
归纳 到 基本 类 。 

情感 发 音 的 实现 ， 需 要 通过 语音 的 声学 参数 体现 人 的 情感 特性 。Sylvie J. L. Mozziconac- 
ci Æ IPO (Hart 等 ，1990) 语调 方法 的 基础 上 ， 初步 加 入 了 情感 控制 参数 ， 增 加 了 语音 合成 
的 表现 力 。Cohn 针对 情感 的 声学 特性 编写 了 简单 的 情感 编辑 器 ， 使 研究 人 员 可 以 细致 地 观 
测 情感 控制 参数 对 语音 输出 的 影响 ， 对 情感 语音 合成 的 研究 起 到 了 较 好 的 推动 作用 。 为 
建立 较为 完整 的 情感 语音 合成 系统 ， 涉 及 情感 语料库 设计 ， 人 情感 韵律 特征 分 析 及 情感 建 模 ， 
语法 、 语 义 对 情感 发 音 的 影响 ， 面 向 口语 的 韵律 分 析 及 建 模 ， 情 感 语音 声学 模型 的 建立 ， 场 
景 分 布 对 情感 发 音 的 影响 ， 以 及 韵律 个 性 化 等 一 系列 的 研究 。 

由 于 情感 表现 的 多 样 性 和 复杂 性 ， 导 致 情感 声学 参数 的 数值 分 布 多 呈现 较 大 的 离散 特 
性 ， 表 8-4 则 针对 五 种 基本 情感 状态 列 出 了 几 种 基本 声学 参数 的 较为 平均 的 体现 。 

2. 具有 情感 的 动作 表达 

人 类 的 不 同 肢体 动作 在 很 多 情况 下 都 表达 了 自己 的 不 同感 情 。 在 机 器 人 中 ， 可 以 通过 机 
器 人 的 不 同 肢体 动作 来 表达 机 器 人 的 感情 状态 。 机 器 人 可 以 用 双手 蕉 礼 、 拥 抱 、 敬 礼 动作 来 








知识 更 新 
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表达 喜悦 ， 用 挥舞 左手 、 挥 舞 右 手 、 挥 舞 双 手 来 表达 人 愤怒， 用 左 转 、 右 转 、 后 退 和 摇头 表达 
悲伤 。 机 器 人 部 分 动作 如 图 8-26 所 示 。 
R84 五 种 主要 情感 的 声学 特征 
项 目 喜悦 RE 悲伤 恐惧 KE 
语 速 ep Hite 稍 慢 很 快 非常 慢 
平均 音 高 很 高 非常 高 稍 低 非常 高 非常 低 
音 高 范围 很 宽 很 宽 WE 很 宽 稍 宽 
音节 基 频 PH, 峭 ， 在 重 宽 、 下 降 终 
， pin Peet a ers 
音节 基 频 E 
pet 平滑 ， 上 升 变化 | 没有 太 多 的 变化 下 降 变化 正常 下 降 终端 变化 
音 强 较 高 较 高 较 低 正常 较 低 
音质 有 呼吸 声 ， 响 亮 pees 共鸣 声 不 规则 发 音 HEIE ag E 
清晰 度 正常 焦急 模糊 准确 EX 

















b) 


Al8-26 机 器 人 和 情 


a) 敬礼 b) 拥抱 


3. 音乐 的 主要 表现 内 容 是 情感 [3 


音乐 的 情感 是 通过 不 同 的 音符 在 时 域 中 巧妙 地 组 合 来 表达 的 。 通 党 对 于 音乐 情 尾 
通过 分 析 音 乐 作品 的 结构 特点 来 解释 其 所 表现 的 情感 色 
正 ， 就 是 从 物理 学 来 说 音乐 是 一 种 波动 信 
特征 提取 与 识别 的 核心 


都 是 从 音乐 学 和 心理 学 的 角度 出 发 ， 
彩 ; 也 可 以 从 一 个 新 的 角度 来 研究 音乐 的 情 尾 
号 ， 探 讨 具 有 不 同 舒 组 激越 情感 色彩 的 音乐 所 具有 的 特征 是 


Ag 。 


为 了 对 情感 特征 进行 合理 的 描述 
一 种 “情感 环 ， 的 结构 ， 如 图 8-27 所 示 ， 以 此 模型 作为 音乐 的 情 
个 音乐 片断 体现 了 不 同 的 情感 





表 !2] ， 给 出 


在 机 器 人 音乐 中 ， 存 放 着 大 量 的 音乐 ， 每 


感 特 和 








感动 作 
c) 挥舞 双手 














音乐 情感 





感 的 研究 


， 根 据 在 音乐 心理 学 领 域 得 到 广泛 认可 的 Hevner 词 


感 分 类 。 


特征 。 机 器 人 可 
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以 依据 不 同 的 情感 状态 ， 随 机 地 播放 相应 的 音乐 来 表示 上 自己 的 感情 。 对 于 音乐 的 情感 特征 的 
区 分 ， 则 可 以 采用 专家 的 意见 分 好 后 ， 赋 予 不 同 的 情感 值 。 











8.5 ”人 工 心理 在 机 器 人 实验 系统 中 的 应 用 


情感 建 模 是 情感 机 器 人 研究 中 的 关键 和 难点 ， 一 个 机 器 人 是 否 能 够 表现 出 类 人 的 情感 ， 
取决 于 其 是 否 有 一 个 合理 的 情感 模型 ”; 。 但 是 情感 究竟 包括 那些 状态 呢 ? 我 们 可 以 举 出 饥 
狐 、 和 恐惧、 伤心、 疲劳、 高兴、 放松 、 紧 张 、 激 动 等 。 它 们 都 是 模糊 的 概念 ， 都 表征 着 复杂 
的 生理 活动 和 心理 特点 。 然 而 想 完全 地 研究 出 情感 空间 的 所 有 子 集 ， 并 给 予 严 格 的 定义 ， 是 
极其 困难 的 ， 本 节 中 不 把 此 问题 进行 专门 讨论 ， 但 可 以 从 科学 研究 的 常用 方法 出 发 ， 即 先 把 
问题 简单 处 理 ， 试 图 寻求 一 些 有 意义 的 结论 。 

生命 体 的 不 同情 感 构成 了 一 个 情感 集合 U,。 为 简单 起 见 ， 在 本 节 的 机 器 人 平台 的 研究 
中 ， 仅 包含 最 简单 的 慌 惧 、 愤 怒 与 高 兴 的 三 个 子 集 构 成 的 U,.。 显 然 ， 生 命 体 的 情感 状态 ， 
不 仅仅 是 单单 处 于 某 一 种 的 状态 ， 即 可 能 出 现 即 铠 惧 又 有 生气 的 状态 ， 然 而 驴 惧 与 高 兴 是 不 
可 能 同时 出 现 的 。 那么， 把 铠 惧 、 生 气 与 高 兴 看 作 三 维 的 坐标 ， 那 么 生命 体 的 情感 状态 就 存 















































在 一 个 三 维 情感 空间 里 。 同 理 ， 可 以 研究 更 复杂 的 情感 ， 这 样 情感 空间 就 是 n 维 的 情感 空 
间 。 这 里 只 能 猜想 ， 情 感 空间 的 维 数 是 有 限 的 。 因 为 ， 尽 管 人 类 的 情感 是 复杂 的 ， 但 能 感受 








到 并 能 用 语言 表达 的 情感 是 有 限 的 ， 所 以 在 这 里 ， 单 就 上 述 三 种 简单 的 情感 进行 讨论 。 

为 进一步 简化 问题 ， 规 定 情感 状态 的 每 一 个 维 数 仅 取 0、0.5、1 三 个 数值 。 比 如 就 铠 惧 
而 言 ， 则 具有 不 疏 惧 、 有 点 恕 惧 和 愁 惧 三 个 状态 。 这 种 三 维 情感 空间 里 就 有 27 个 情感 状态 。 
用 a 表示 恐惧 ，4 表示 愤怒，c RAE, FAA ae (0, 0.5, 1), b€ (0, 0.5, 1), ce 
(0, 0.5，1) 。 规 定 这 三 个 坐标 的 顺序 为 cbc， 于 是 构成 图 8-28 所 示 三 维 坐 标的 情感 空间 。 
于 是 可 枚 举 的 情感 状态 有 27 个 状态 ， 见 表 8-5, 

那么 很 有 意思 的 一 点 就 是 原点 (0，0,，0) ， 这 一 点 不 仅仅 代表 为 平静 ， 而 且 还 代表 其 
他 未 知 的 情感 状态 。 也 就 是 说 ， 当 生命 体 仅 仅 存 在 上 述 三 种 情感 时 ， 这 就 是 完全 的 情感 空 
间 ， 原 点 就 是 平静 点 。 而 当 生 命 体 的 情感 不 仅仅 是 这 三 种 情感 时 ， 那 么 称 这 是 不 完全 的 情感 
空间 ， 其 原点 可 能 是 平静 点 ， 也 可 能 是 其 他 某 种 情感 状态 ， 但 这 种 情感 状态 并 未 包含 在 所 构 


























a 轴 ( 恐 惧 ) 


表 8-5 


机 轴 ( 喜 悦 ) 














b Bh CER) 














图 8-28 





三 维 情感 坐标 
情感 状态 空间 中 的 27 种 状态 


0,1,0) ~ 
































状态 编号 情感 状态 状态 编号 情感 状态 状态 编号 情感 状态 
i 平静 : 时 WR: ið EER, AARE, AA 
(0, 0, 0) (0, 1, 0) 喜悦 : (0.5, 1, 0.5) 
5 FRR: T 喜悦 : n 喜悦 、 有 点 愤怒、 有 点 
(0.5, 0, 0) (0, 0, 1) AU; (0.5, 0.5, 1) 
; ABER: i RL, ARS 54 AL, BUR, 
i (0, 0.5, 0) (1, 0.5, 0) (1, 1, 0) 
7 有 点 喜悦 ; i3 GUS, AARE: j 愤怒 、 喜 悦 
(0, 0, 0.5) (0.5, 1, 0) (0, 1, 1) 
F FRR, A AE i 愤怒 、 有 点 喜悦 : 3 WR, S 
(0.5, 0.5, 0) (0, 1, 0.5) (1, 0, 1) 
é 有 点 愤怒 、 有 点 喜悦 : iš Bi, ALBERS: a 恐惧 、 慎 怒 、 有 点 喜悦 
(0, 0.5, 0.5) (0, 0.5, 1) (1, 1, 0.5) 
5 AAR, A ARR: “2 BRL, AE, ge 愤怒 、 喜 悦 、 有 点 恐惧 ; 
(0.5, 0, 0.5) (0.5, 0, 1) (0.5, 1, 1) 
有 点 恐惧 、 有 点 和 恐惧、 喜悦 
RELATE BL eee 
8 愤 既 、 有 点 喜悦 : 17 aa 26 A ER 
(0.5, 0.5, 0.5) — (1, 0.5, 1) 
AML, AUER, z 
w ML, SM, BUR 
9 WH.: (1, 0, 0) 18 有 点 喜悦 : 27 
(1, 0.5, 0.5) Meret 
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当 生 命 体 的 情感 在 这 个 状态 空间 内 变化 时 ， 是 具有 统计 性 规律 的 ， 这 就 是 一 个 马尔 科 夫 
过 程 。 由 于 存在 27 个 状态 ， 故 构成 了 27 维 的 概率 转移 矩阵 。 

因此 ， 各 个 状态 互相 转移 的 概率 P,, Ci, je [1,，2,， 3，…，27]) 构 成 了 27 维 的 概率 
和 矩阵 4，: 


Pi Pia Pin 
ye a a Ra (8-16) 
Py 1 Pry» oe Poy 
式 中 ，P; 为 第 i 状态 到 第 j 状态 的 概率 ， 并 且 有 如 下 关系 : 
yp, =1 ie [1,2,3,---,27] (8-17) 


这 里 ,可 以 进一步 得 出 以 下 结论 : 
把 每 一 种 情感 变化 划分 为 n 个 级 别 ，m 种 情感 可 以 构成 m 维 的 情感 空间 ， 那 么 就 具有 
n” RRRA, Slan", FRIRE I 维 的 概率 矩阵 如 下 ; 





Pa Po oe Py 
Fop F sie PP. 
| 2 (8-18) 
Pa Pa ov Py 
式 中 ，P,(i,je [1,2,3…,1]) ,为 第 i 状态 到 第 j 状态 的 概率 ， 并 且 满 足 如 下 关系 : 
1 
> Pal cenzs] (8-19) 


到 此 ， 构 建 了 情感 变化 的 概率 性 模型 。 进 一 步 的 工作 就 在 于 研究 概率 矩阵 中 的 每 一 个 元 
素 的 取 值 问题 。 

情感 模型 建立 是 个 人 机 器 人 研究 中 的 重点 ， 一 个 情感 机 器 人 是 否 能 够 表现 出 类 人 的 情 
感 ， 取 决 于 其 是 否 有 一 个 合理 的 情感 模型 。 本 节 中 建立 了 一 个 如 图 8-28 所 示 的 情感 空间 ， 
在 这 个 情感 空间 模型 中 ， 某 一 时 刻 情感 总 是 处 于 某 一 特定 的 点 ， 而 下 一 时 刻 情感 将 如 何 转 
移 ? 情感 在 这 个 空间 的 转移 过 程 不 仅仅 与 情感 的 前 一 时 刻 的 位 置 有 关 ， 还 与 外 界 环 境 对 机 器 
人 的 刺激 有 关 。 下 面 我 们 主要 研究 个 人 机 器 人 在 多 感觉 信息 作用 下 的 情感 转移 。 

外 部 环境 的 刺激 是 情感 转移 的 最 大 原因 。 建 立 情感 模型 的 意义 就 在 于 希望 其 能 对 外 部 刺 
激 产 生 反 应 ， 得 到 一 个 新 的 情感 状态 。 外 界 对 机 器 人 的 刺激 包括 声音 、 图 像 、 其 他 信息 等 。 
上 面 这 些 机 器 人 通过 传感器 获得 的 信息 构成 了 机 器 人 的 环境 模型 。 

首先 建立 一 个 情感 空间 模型 ， 如 图 8-28 所 示 。 情 感 空间 是 机 器 人 所 有 情感 的 活动 空间 ， 
其 中 的 每 一 个 点 都 表示 一 个 特定 的 情感 状态 。 机 器 人 在 感受 到 外 部 的 刺激 后 会 在 情感 空间 发 
生 情 感 状态 的 转移 ， 通 过 读 取 机 器 人 情感 空间 的 状态 ， 可 以 使 机 器 人 表现 出 各 种 不 同 的 情 
感 ， 确 定 情感 在 情感 空间 内 是 怎样 变化 的 ， 即 情感 状态 是 怎样 由 情感 空间 中 某 一 点 转移 到 另 
一 点 的 。 情 感 机 器 人 通过 传感器 感知 外 界 刺 激 ， 应 用 第 4 章 中 所 述 的 情感 信息 融合 ， 外 界 刺 
激 推动 情感 状态 的 转移 ， 机 器 人 达到 一 个 新 的 情感 状态 ， 人 情感 信息 人 处理 结构 如 图 8-29 所 示 , 
S 表示 外 界 激励 程度 ，p 表示 基本 可 信 度 。 

首先 ,需要 设 定 一 个 初始 状态 ， 即 要 设 定 在 初始 时 刻 ， 人 情感 处 于 那个 节点 上 。 那 么 要 判 
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情感 信息 处 理 结 术 








定 下 一 时 刻 情感 将 到 达 什 么 状态 呢 ， 这 是 具有 概率 性 的 行为 。 假 定 初始 情感 处 于 平静 状态 ， 
即 处 于 情感 空间 的 原点 ， 也 就 是 说 ， 在 没有 外 界 干扰 的 情况 下 ， 情 感 的 状态 是 趋 于 平静 的 ; 
然而 情感 是 不 可 能 绝对 平静 的 ， 情 感 的 状态 是 有 一 定 波 动 的 ， 当 受到 外 界 刺激 时 ， 人 情感 状态 
会 发 生 转 移 。 

下 面 就 根据 不 同 参数 的 设 定 ， 模 拟 一 个 在 外 界 刺激 的 情况 下 的 情感 的 变化 过 程 。 只 考虑 
在 受到 外 界 威 胁 刺 激 时 ,个 人 机 带 人 恺 惯 情感 的 状态 转移 ， 为 进一步 简化 问题 ， 则 规定 情感 
状态 的 每 一 个 维 数 仅 取 0、0. 5、1 三 个 数值 。 就 高 兴 而 言 ， 则 具有 平静 、 有 点 高 兴 和 很 高 兴 
三 个 状态 。 

对 于 原点 (0，0，0) ， 这 一 点 不 仅仅 代表 平静 ， 而 且 还 代表 其 他 未 知 的 情感 状态 。 也 
就 是 说 ， 当 生命 体 仅仅 存在 上 述 三 种 情感 时 ， 这 就 是 完全 的 情感 空间 ， 原 点 就 是 平静 点 。 而 
当 生 命 体 的 情感 不 仅仅 是 这 三 种 情感 时 ， 那 么 称 这 是 不 完全 的 情感 空间 ， 其 原点 可 能 是 平静 
点 ， 也 可 能 是 其 他 某 种 情感 状态 。 但 不 管 它 是 那 种 情感 状态 ， 在 受到 外 部 刺激 时 ， 都 会 依照 
概率 最 大 方向 发 生 转移 。 

对 外 部 刺激 因素 ， 选 择 来 自视 觉 、 语 音 、 其 他 信息 。 从 这 三 个 感官 中 ， 提 取出 环境 的 激 
励 因 素 ， 激 励 强度 7 在 [0, 1] 区 间 内 取 值 ， 按 其 激励 大 小 ， 分 为 三 个 级 别 : 轻 度 激励 、 中 
度 激 励 、 重 大 激励 。 选 择 闪 值 6 、B6,，， 当 0<1<B, 时 ， 判 定 为 轻 度 激励 ; 当 B, 和 7<B, 时 ， 
判定 为 中 度 激 励 ， 当 B, <7T 时 ， 判 定 为 重大 激励 。 根 据 人 类 经 验 , 假定 在 受到 轻 度 激励 时 ， 
高 兴 状 态 向 高 兴 强 度 减 小 方向 转移 概率 最 大 ; 在 受到 中 度 激励 时 ， 高 兴 状 态 保持 原状 态 概率 
最 大 ; 在 受到 重大 激励 时 ， 高 兴 状 态 向 高 兴 强 度 增加 方向 转移 概率 最 大 。 当 受到 外 界 激励 
时 ， 机 器 人 情感 状态 将 向 转移 概率 最 大 的 方向 转移 ， 状 态 转 移 如 图 8-30 所 示 。 

中 度 激励 中 度 威胁 中 度 激励 
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应 用 D-S 证 据 理论 ， 分 别 融 合 来 自视 觉 和 语音 、 视 觉 和 其 他 、 语 音 和 其 他 信息 因素 ， 设 
T, 表示 轻 度 激励 ，7T, 表示 中 度 激励 ，7, 表示 重大 激励 ， 目 标识 别 框架 为 U= 17,7,,7,}。 
m,( +) 表示 由 视觉 确定 的 基本 概率 赋值 ，m, (+) 表示 由 语音 确定 的 基本 概率 赋值 ; 
mi(，) 表 示 由 其 他 信息 确定 的 基本 概率 赋值 ， 则 由 三 种 情感 信息 确定 的 基本 概率 赋值 见 表 
8-6 所 示 。 





表 8-6 由 三 种 信息 确定 的 基本 概率 赋值 























Ti Ty Ty U 
m,( + ) 0. 50 0. 30 0. 10 0. 10 
m.( + ) 0. 20 0. 50 0. 20 0. 10 
m,( + ) 0. 10 0. 30 0. 50 0. 10 


FX Dempster 合并 规则 对 视觉 和 语音 关于 激励 状况 的 基本 概率 赋值 进行 组 合 ，m,(“，) 和 
m ) 组 合 情 况 如 表 8-7 所 示 , 其 中 , 亿 表 示 空 集 。m,(， ) 和 办 (… ) 两 批 证 据 的 不 一 致 因 
F KA 
K =0. 06 +0. 02 +0. 25 +0. 05 +0. 10 +0. 06 =0. 54 (8-20) 
于 是 ， 视 觉 和 语音 情感 信息 融合 后 的 基本 概率 赋值 为 
0. 10 +0. 02 +0. 05 















































(0) = =0. 37 8-21 
M, xs 人 D 1 -K ( ) 
0. 15 +0. 03 +0. 05 
m, x (Ta) = =0. 50 (8-22) 
1-K 
0. 02 +0. 02 +0. 01 
m,x,(T,) = =0. 11 (8-23) 
1-K 
0. 01 
m,,,(U) = zn 02 (8-24) 
表 8-7 m,( P “ ) 组合 情况 
m (>) 
T (0. 50) T,, (0. 30) 7, (0. 10) U(0. 10) 
T (0. 20) T,(0. 10) Ø (0.06) Ø (0. 02) T, (0. 02) 
(+) Ta (0. 50) @(0. 25) T,, (0. 15) Ø (0.05) T „ (0.05) 
i T, (0. 20) Ø (0.10) Ø(0.06) T, (0.02) T, (0.02) 
U(0. 10) T (0. 05) T,, (0. 03) 7, (0. 01) U(0. 01) 
由 计算 结果 可 以 看 出 ， 通 过 融合 ， 不 确定 性 的 基本 概率 赋值 下 降 到 0. 02。 当 采用 基于 




















基本 概率 赋值 的 决策 方法 时 ， 车 选择 门限 , <0, =0. 1， 则 最 终 的 决策 结果 是 了 ， 即 外 界 激 
励 程 度 为 中 度 ， 高 兴 情 感 状态 维持 原状 态 。 同 理 ， 随 机 产生 100 组 数据 ， 分 别 融 合 来 自视 觉 
和 语音 、 视 觉 和 其 他 信息 、 声 音 和 其 他 信 的 情感 信息 (外界 鼓励 程度 ) ， 引 起 情感 状态 转 
视觉 和 语音 激励 因素 综合 作用 引起 高 兴 情 感 状态 转移 情况 如 图 8-31 所 示 ， 视 觉 和 其 他 

息 因 素 综合 作用 引起 高 兴 情 感 状 态 转移 情况 如 图 8-32 所 示 ， 语 音 和 其 他 信息 综合 作用 引 














































































































起 高 兴 情 感 状 态 转移 情况 如 图 8-33 所 示 。 
l l 入 
4 人 
E 0.8 F j EY ; vi \ Nt Ph tt 
= 06 HIA ANALY AN by | VAN A NANA AM 
mo A WE A IN fr | WEN EA PL AR 
ge OAN Pin! Wh ML) VI PW Whe mA | 
a YY 
| | | | | | | | | 
R 00 10 20 30 40 50 60 70 80 90 100 
1 
水 0.5r 
aE 
0 | | | | | | | 
10 30 40 50 60 70 80 100 
图 8-31 视觉 和 语音 信息 综合 作用 引起 高 兴 情 感 状 态 转 移 情 况 ( 横 坐标 单位 为 “组 ”) 
In 
m | A IN \ í | l 
am 0.8 FH \ | HY a N h Ay A j| TAVAT 
S | \ I \ 1 | {| NTI 
S 06 \ AN | | hf ANI 4 ADi AINAN 
E oa Hy n ‘ y 1i VY y IH AYN A l 
E 0.2 Ha 11 V i AW IUA 
z 0 | v | | | V V 1 | | v | y 
0 10 20 30 40 50 60 70 80 90 100 
1 
y 
B 0.5 F 
0 | | | | | | | | 
0 10 30 80 90 100 
图 8-32 ”视觉 和 其 他 信息 因素 综合 作用 引起 高 兴 情 感 状态 转移 情况 ( 横 坐 标 单位 为 “组 ”) 
1 
| 6 
4 i | mi 人 
goh d fh AA ai AN ag 
nal N yy MW yu | 上 n 
S 6H I) | yh ANAI \ \ AA Ti 
= 1 Waihi 1 N iN VAP VY MA Yi \ if ifi 
¥ oari} 1 | Au Wy ii | i} | WM \ 
Am Ll} | Wut A V u UVU WA | | | | 
0.2 H Yol voy i \ 1 v Aa SN 
SET BE RER y pri YYW 
0 | | | | | | 1 | 1 
0 10 20 30 40 50 60 70 80 90 100 
1 
Se ll 
ie 0.5 
0 | | | | | | | | 
0 10 20 0 60 70 80 90 100 
图 8-33 ”语音 和 其 他 信息 因素 综合 作用 引起 高 兴 情 感 状态 转移 情况 ( 横 坐 标 单位 为 “组 ”) 





视觉 、 语 音 和 其 他 信息 因素 综合 作用 引起 高 兴 情 
机 器 人 实验 系统 中 ， 每 种 情感 信息 提供 
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状态 转移 情 况 ， 





都 是 


如 图 8-34 所 示 。 在 


彼此 独立 的 ， 即 感知 的 是 环境 各 个 不 
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同 的 侧面 ， 将 这 些 特征 综合 起 来 就 可 以 构成 一 个 更 为 完整 的 环境 描述 ， 这 些 信息 er 
息 。 从 以 上 各 图 可 以 看 出 ， 视 觉 、 语 音 和 其 他 信息 对 环境 信息 的 理解 可 能 是 不 一 致 的 ， 经 过 

















a a 
环境 的 一 致 性 解释 。 互 补 信息 的 融合 减少 了 由 于 缺少 某 些 环境 特征 而 产生 的 对 环境 理解 的 歧 
义 ， 提 高 了 系统 描述 环境 的 完整 性 和 正确 性 ， 增 强 了 系统 正确 决策 的 能 
































0 h | h f h | h 
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图 8-34 视觉、 语音 和 其 他 因素 综合 作用 引起 疏 惧 情感 
状态 转移 情况 〈 横 坐标 单位 为 “组 ”) 











因此 ， 采 用 信息 融合 技术 对 多 方面 的 情感 信息 进行 融合 ， 降 低 了 机 器 人 平台 的 不 确定 
性 ， 提 高 了 系统 的 识别 能 力 ， 获 得 对 环境 的 正确 全 面 理解 ， 使 机 器 人 实验 系统 具有 容错 性 ， 
可 以 保证 系统 情感 信息 处 理 的 快速 性 和 正确 性 。 

《国家 中 长 期 科学 和 技术 发 展 规划 纲要 (2006 ~ 2020 年 )》 中 , 已 经 把 对 个 性 化 的 智能 
机 器 人 和 智能 服务 机 器 人 列 人 其 中 ， 这 是 国家 对 机 器 人 研究 提出 期 望 的 任务 ， 同 时 也 是 机 器 
人 研究 者 难得 的 机 遇 。 服 务 机 器 人 研究 是 多 学 科 、 多 技术 的 交叉 融合 研究 ， 它 带 来 的 挑战 也 
是 多 方面 的 ， 需 要 我 们 进行 长 期 深入 的 研究 。 以 上 所 介绍 的 研究 工作 还 只 是 初步 的 ， 而 具有 
人 工 智能 和 机 器 情感 的 个 人 服务 机 器 人 ， 是 人 工 心理 研究 所 追求 的 目标 。 
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OR 未 来 研究 





人 工 心 理 还 是 一 个 新 概念 ， 其 理论 和 技术 方面 的 研究 还 有 很 长 的 路 要 走 ， 用 机 器 〈 计 
算 机 ) 人 工 模拟 人 类 的 心理 有 许多 难题 需要 人 们 去 研究 攻克 。 比 如 : 人 工 模拟 自然 心理 的 
可 信和 度 ; 人 类 心理 是 个 复杂 大 系统 ， 心 理 活动 普遍 存在 模糊 性 、 混 沌 性 ， 如 何 建 立 准 确 的 心 
理 模 型 是 困难 的 。 在 今后 的 研究 中 ， 以 下 课题 需要 关注 : 

1) 人 工 心理 统一 模型 ; 

2) 情感 形式 化 问题 ; 

3) 情感 计算 机 的 体系 结构 、 操 作 系统 和 程序 语言 ; 

4) 机 器 情感 的 图 灵 测 试问 题 ; 

5) 非 线 性 情感 建 模 ; 

6) 情感 建 模 的 仿真 平台 ; 

7) 机 器 意识 。 

应 用 领域 需要 关注 研究 的 人 工 心理 问题 有 : 

1) 服务 机 器 人 的 人 工 心理 和 人 工 情感 技术 ; 

2) 数字 媒体 中 的 人 工 心理 和 人 工 情感 技术 ; 

3) 人 工 心理 技术 在 教育 信息 化 领域 认 知 教学 中 的 应 用 ; 

4) 智能 交通 系统 中 驾驶 行为 和 心理 数字 化 技术 ; 

5) 实时 表情 识别 新 方法 。 

下 面 举 几 个 例子 ， 以 作为 对 人 工 心理 未 来 研究 的 思考 。 


91 基于 马 斯 洛 需求 层次 论 的 人 工 心理 模型 


传统 的 人 与 计算 机 之 间 的 交互 ， 多 是 借助 于 被 动 式 的 中 介 手 段 (如 键盘 、 鼠 标 等 ) ,无 
法 理解 和 适应 人 的 情绪 或 心境 ， 没 有 这 种 情感 能 力 ， 就 很 难 指望 计算 机 具有 类 似 人 一 样 的 智 
能 ， 也 很 难 期 望 人 机 交互 真正 做 到 和 谐 与 自然 。 研 究 表明 ， 由 于 人 类 相互 之 间 的 沟通 与 交流 
是 自然 而 富有 感情 的 ， 因 此 在 人 机 交互 的 过 程 中 ， 人 们 也 很 自然 地 期 望 计 算 机 具有 情感 和 自 
然 和 谐 的 交互 能 力 。 人 情感 计算 与 智能 交互 就 是 要 赋予 计算 机 类 似 于 人 一 样 的 观察 、 理 解 和 生 
成 各 种 情感 特征 的 能 力 ， 最 终 能 达到 像 人 一 样 能 进行 自然 、 亲 切 和 生动 的 智能 交互 。 

这 里 依据 马 斯 洛 的 需求 层次 论 和 西 米 诺 夫 情 绪 信 息 论 构 建 了 机 器 情感 模型 。 按 照 马 斯 洛 
的 需求 层次 论 ， 可 将 人 的 需求 分 成 7 个 层次 ， 自 底 向 上 分 别 为 : 生理 需要 、 安 全 需要 、 归 属 
与 爱 的 需要 、 上 自尊 需要 、 认 知 需 要 、 审 美 需要 和 上 自我 实现 需要 。 有 关 各 层次 需要 的 关系 ， 马 
斯 洛 认 为 ， 人 类 的 基本 需要 是 按 优势 或 力量 的 强 弱 排 成 等 级 的 。 其 主要 动力 原则 是 健康 人 的 
优势 需要 一 经 满足 ， 相 对 弱势 的 需要 便 会 出 现 。 

马 斯 洛 提 出 的 需求 层次 论 可 用 不 同 状况 曲线 来 表示 ， 如 图 9-1 所 示 。 这 个 图 可 以 解释 许 
多 人 生 心 理 需求 现象 和 成 长 过 程 。 从 图 中 可 以 看 到 ， 人 们 达到 马 斯 洛 的 上 层 需 求 层次 是 需要 
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时 间 和 培养 过 程 的 。 图 9-1 中 的 正弦 曲线 1 所 示 为 少年 天 才 型 ， 但 它们 虽 提 前 达到 心理 高 层 
需求 ， 但 也 提前 下 降 到 底层 心理 需求 ; 正弦 曲线 2 为 正常 人 的 心理 需要 的 曲线 描述 ; 正弦 曲 
线 3 是 大 器 晚 成 型 的 心理 需要 曲线 ， 而 非 正常 人 型 的 心理 需要 如 正弦 曲线 4 所 示 ， 它 们 达 不 
到 较 高 层次 的 心理 需要 。 





hy 


自我 实现 需要 
审美 需要 
认 知 需要 
自尊 需要 
归属 与 爱 需要 
安全 需要 
生理 需要 


心理 需要 层次 
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图 9-1 马 斯 洛 心理 需要 模型 的 曲线 描述 
1 一 少年 天 才 型 2 一 正常 人 3 一 大 器 晚 成 型 4 一 非 正常 人 型 





下 面 主要 讨论 人 类 的 生理 需要 、 安 全 需要 及 它们 对 人 机 情感 交互 建 模 的 影响 ， 并 结合 
米 诺 夫 情 绪 信 息 论 构建 人 机 情感 交互 系统 的 结构 框架 


9.1.1 人 机 交互 结构 模型 


通过 各 种 传感器 获取 由 人 的 情感 所 引起 的 生理 和 行为 特征 信号 ， 建 立 “ 情 感 模型 ”， 从 
而 创建 一 个 具备 感知 、 识 别 和 理解 人 类 情感 能 力 的 ， 并 能 针对 用 户 的 情感 做 出 智能 、 灵 敏 、 
友好 反应 的 个 人 计算 机 系统 ， 缩 短 人 机 之 间 的 距离 ， 营 造 真正 和 谐 的 人 机 环境 。 人 机 交互 平 
全 系统 结构 如 图 9-2 所 示 。 系 统 主要 由 环境 输入 、 内 部 模型 、 情 绪 行 为 输出 3 个 层次 构成 ， 
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图 9-2 人 机 交互 结构 模型 
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同时 有 交互 者 的 参与 ， 整 体 构成 人 机 交互 平台 的 闭环 系统 。 

机 器 通过 语音 识别 、 人 脸 识 别 、 表 情 识 别 和 感应 信号 ， 获 取 人 的 生理 和 行为 特征 信和 号。 
信息 处 理 单元 负责 对 获取 的 信息 进行 分 类 和 处 理 ， 并 将 结果 送 给 情感 模型 、 动 机 模型 、 学 习 
模型 。 情 绪 、 行 为 控制 器 接收 内 部 模型 的 输出 ， 通 过 表情 合成 、 语 音 输出 和 胶体 语言 表达 行 
为 〈 智 能 、 情 感 两 方面 ) 。 


9.1.2 基本 生理 、 安 全 模型 


人 类 的 动机 可 分 为 7 层 : 第 一 层 为 生理 动机 ， 即 劳累 、 饮 水 、 体 内 平衡 、 饥 饿 等 ; 第 二 
层 为 安全 动机 ， 即 安 人 全、 威胁、 稳定 、 疏 惧 、 焦 虑 、 规 范 需 要 、 界 限 、 法 律 等 ; 第 三 层 为 社 
会 归属 和 爱 的 需求 ， 即 归属 感 、 工 作 任务 、 爱 情 、 友 谊 、 摆 脱 扳 独 等 ;第 四 层 为 尊重 需求 ， 
MAR, HE, ER, WA, RÆ, AUS, 第 五 层 为 认 知 动机 ， 即 学 习 、 认 知 、 好 奇 心 、 
了 解 和 欲望 、 优 势 层次 等 ; 第 六 层 为 美学 需求 ， 即 音乐 、 电 影 、 诗 歌 、 体 育 等 ; 第 七 层 为 创作 
动机 ， 即 音乐 创作 、 写 诗 、 画 画 、 科 技 发 明 等 。 其 中 第 一 、 二 层 是 人 类 的 低级 需要 ;其 余 的 
第 三 ~ 七 层 是 人 类 的 高 级 需要 。 

生理 需要 是 人 需要 之 根本 。 生 理 需要 在 尚未 得 到 满足 时 ， 会 主 守 机体， 同时 迫使 所 有 能 
力 为 其 服务 ， 并 组 织 它们 ， 以 使 服务 达到 最 高 效率 。 相 对 的 满足 平息 了 这 些 需要 ， 使 下 一 个 
阶层 的 需要 得 以 出 现 。 后 者 继而 主 备 、 组 织 这 个 人 ， 绪 果 他 刚 从 饥饿 的 困境 中 逃离 出 来 ， 继 
而 又 为 安全 需要 所 困扰 。 上 述 原则 也 同样 适用 于 归属 与 爱 、 自 苇 、 自 我 实现 层次 的 需要 。 

本 书 试图 从 能 量 角度 出 发 ， 使 机 器 模拟 人 类 的 基 E 
























































本 生理 需要 。 人 类 生理 需求 的 饥饿 曲线 如 岁 9-3 所 上 - Bs 
ma, KF, E 表示 人 类 能 承受 摄 和 人 食物 的 极限 值 ; 下 - Eg 





E, 表示 正常 摄 和 人 最 大 量 ; E, 表示 饥饿 的 低 限 报 警 ，0 
表示 死亡 。 能 量 以 指数 形式 衰减 。 

机 器 能 量变 化 方程 为 | _ Eb 

E(t) =e; (9-1) 

eH, E(t) 为 人 机 在 上 时 刻 的 能 量 ; e, 为 最 近 一 次 
补给 能 量 值 ; t 为 最 近 一 次 能 量 补给 时 间 ; a 为 能 量 
衰减 系数 (a >0)。 

以 此 类 推 ， 我 们 可 以 为 干 渴 、 上 睡眠、 劳累 、 体 内 平衡 等 的 生理 需要 ， 从 能 量 角 度 出 发 ， 
建立 它们 的 指数 形式 衰减 方程 。 通 过 a 可 以 调整 能 量变 化 率 。 

马 斯 洛 指出 ， 如 果 生 理 需 要 相对 充分 地 获得 了 满足 ， 接 着 就 会 出 现 一 种 新 的 需要 ， 即 安 
全 需要 。 安 全 需要 的 直接 语义 是 避免 危险 ， 人 类 需要 安全 ， 在 这 里 引入 了 安全 系数 入 (0 < 
AS1), 4A>A, 时 人 类 认为 自己 是 相对 安全 的 ， 其 中 Ai 为 安全 净值 。 如 果 交 互 者 对 于 机 
器 来 说 是 陌生 的 ， 则 A 便 被 初始 化 为 小 于 A AY, EZER, A 值 会 随 之 改变 ; 当 机 器 受 
PPF, A 值 会 变 为 提示 警惕 。 


9.1.3 ”情感 模型 


可 以 在 机 顺 中 实现 情感 模型 的 构造 存在 着 两 种 途径 : 其 一 是 直接 模拟 人 的 神经 系统 的 构 
造 与 活动 特性 ， 这 是 最 本 质 的 模拟 ,但 由 于 人 对 脑 的 认识 局 限 性 和 计算 机 运算 能 力 的 限制 ， 




















图 93 饥饿 -能 量变 化 曲线 
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在 目前 是 难以 实现 的 ;其 二 就 是 从 情感 活动 结果 的 特点 出 发 ， 有 限度 地 去 模拟 人 或 动物 的 基 
本 情感 ， 以 获得 具有 机 器 人 特有 的 情感 行为 ， 实 现 和 谐 人 机 交互 ， 本 书 选 用 此 法 。 

著名 的 西 米 诺 夫 提出 了 有 机 体 的 信息 与 情绪 之 间 的 关系 ， 他 的 理论 直接 表现 为 信息 理 
论 。 我 们 从 信息 的 角度 出 发 可 以 构建 机 器 的 情感 模型 为 

E=-N(I,-1,) (9-2) 

AP, 太 为 机 器 情绪 ;NN 为 需要 系数 ， 受 生理 需要 、 安 全 需要 控制 ， 它 们 直接 影响 机 器 对 信 
息 的 敏感 度 ，N 将 随 着 机 器 的 虚拟 生理 需要 、 安 全 需要 不 断 发 生变 化 ， 需 要 系数 NN 等 于 生 
理 需 要 因子 N, 和 安全 需要 因子 N, 权重 的 和 ， 即 N= (NON); AERA, HeLa AM 
人 在 交互 过 程 中 机 器 期 望 获得 的 信息 ; 1, 为 所 得 信息 ， 指 机 器 和 人 在 交互 过 程 中 机 器 所 获得 
的 信息 。 

按照 这 个 公式 ， 信 息 按 一 定形 式 进行 交流 便 可 达到 目的 。 因 此 ， 如 果 机 器 因 缺 乏 信 息 而 
不 能 适当 地 组 织 自 己 ， 那 么 就 会 使 消极 的 情绪 开始 行动 。 但 是 ， 如 果 信 息 过 剩 ， 信 息 为 机 器 
所 感 兴趣 的 内 容 ， 积 极 的 情绪 便 会 产生 。 按 照 公式 ,7, >1,， 即 所 得 信息 超过 需要 信息 。 

机 器 的 情绪 生成 是 与 其 情感 信息 需求 及 其 满足 程度 直接 相关 的 。 机 器 的 期 望 获得 的 信息 
和 所 获得 的 信息 是 多 层次 的 ， 属 于 多 目标 问题 。 对 于 多 目标 问题 ， 各 目标 的 重要 程度 不 同 ， 
决策 者 对 目标 重要 程度 所 进行 的 比较 及 量化 称 为 “价值 权衡 ”， 价 值 权 衡 最 终 体 现在 各 个 目 
标的 “加 权 系 数 ” 的 赋值 上 ， 或 体现 在 “影子 价格 ”或 决策 者 为 实现 某 一 目标 所 “愿意 支 
付 的 代价 ”上 。 上 述 价值 权衡 、 加 权 系 数 、 影 子 价格 和 愿意 支付 的 代价 这 4 个 概念 是 同一 
本 质 的 。 通 过 引入 权重 系数 的 概念 就 可 以 对 了 进行 归 一 量化 。 

确定 权重 系数 的 实用 方法 一 一 层次 分 析 法 : 

1. 问题 的 提出 

层次 分 析 法 是 美国 运筹 学 家 沙 旦 提出 来 的 ， 是 一 种 定性 与 定量 相 结 合 的 多 目标 决策 分 析 
方法 ， 力 求 将 决策 者 的 经 验 判断 给 予 量化 。 

2. 原理 

设 n 个 物体 4,、4,、…、4，, 的 重量 分 别 为 w 、w,、…、w,， 两 两 比较 重量 ,得 比值 和 矩 
阵 4。 























Ww, Wi Wi 
WI w, w 
Wy Wy Wy 
A = WwW Wy Ww, 
Ww, Ww, Ww, 
WwW Wy Ww, 
Wi 
w 
E. E. 2 
用 重量 向 量 W=| . 


FAR A 


Ww, 
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Ww, Wi Wi 
w, w, w 
Wi Wi 
Wy Wy Wy 
tee w, w, 
AW=|w, w, w, =n =nW 
w w 
w, Ww, w 
WwW Wy Ww, 








可 见 : 1) 本 为 特征 向 量 ; n 为 特征 根 。 
2) 4 有 如 下 特点 : 
D a, =1(aj 为 矩阵 4 中 第 ; 行 ， 第 7 列 的 元 素 ) ; 
© a, = 1/a;; 
3) Gy, = Gy, 5 
D A 具有 唯一 非 零 的 最 大 特征 根 no 
若 判 断 和 矩阵 具有 上 述 特征 ， 则 该 矩阵 具有 完全 一 致 性 ， 而 人 为 的 判断 总 会 有 误差 。 
3. TR 
1) 建立 层次 结构 模型 。 
2) 构造 判断 矩阵 : 决策 者 对 多 个 属性 的 重要 程度 作 比 较 ， 同 时 进行 比较 和 判断 的 属性 
不 能 过 多 ， 实 验 表 明 ， 不 能 超过 7 个 因素 。 
“两 两 比较 法 ”是 每 次 在 n 个 属性 中 只 对 两 个 属性 进行 比较 ， 对 i、j 两 个 因素 进行 比较 
MN, EU PAE: 
“极为 重要 ” 记 为 9 
“重要 得 多 ” 记 为 7 
“ 重 要” 记 为 5 
“ 稍 重要 ” 记 为 3 
i, j 比较 和 “一 样 重要 ” 记 为 1 
“ 稍 次 要 ” 记 为 1/3 
“次 ” 要 ” 记 为 1/5 
“次 要 得 多 ” 记 为 1/7 
“极为 次 要 ” 记 为 1/9 
和 决策 者 对 话 ， 进 行 两 两 因素 之 间 重 要 程度 的 比较 ， 有 如 下 结 























Xi Xo is Xn 
Xi ai Qiz = Qn 
Ñz az an es Qn, 
Xn an a m i Ann 





根据 上 述 对 话 结果 ， 得 到 比较 矩阵 4: A= | aj| pyr 
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FEM A 具有 如 下 性 质 : 
1) a, =1 
2) a, -二 


根据 上 述 res, 和 决策 者 对 话 进 行 两 两 比较 的 次 数 不 是 nw K, HE n(n - 1) /2 次 。 
3) 求 矩 阵 4 最 大 特征 根 As， 然 后 求 出 相应 的 规范 化 的 特征 向 量 WB 
AW =À oax W 
对 于 其 中 的 各 分 量 就 是 对 应 于 各 因素 的 权重 系数 。 
4) 一 致 性 检验 : 用 两 两 比较 法 和 决策 者 对 话 可 得 到 比较 和 矩阵， 但 是 可 能 会 发 生 判 断 不 
一 致 ， 所 以 需要 进行 一 致 性 检验 。 一 致 性 检验 ， 就 是 检查 决策 者 对 多 属性 评价 的 一 致 性 。 完 
全 一 致 时 ， 应 该 存在 如 下 关系 : 








， 就 是 不 一 致 。 由 于 不 一 致 竹 在 所 难免， “那么 存在 多 大 的 不 致 性 是 可 以 被 接受 的 
呢 ? 这 性 检验 所 要 讨论 的 内 容 。 
一 致 性 检验 : 当 判 别 不 一 致 时 ， 一 般 A,,, 大 xn， 此 时 
A + DA; = Va, =n 
Amx -n= = ZA, 
为 检验 判断 矩阵 一 致 性 一 致 性 指标 为 
入 一 用 





Cl= 


1) 4A, =n, Cl=0, HHA, 

CI 值 越 大 ， FI DST AE MEA — BC PE ee 

2) 一 般 ， Ora 1 WHER 

维 数 n 越 大 ， 一致 性 越 差 . 引入 修正 值 CR: 

Saaty 构造 了 最 不 一 致 的 情况 ， 就 是 对 不 同 nn 的 比较 矩阵 中 的 元 素 ， 采取 1/9、1/7 
1、…、7、9 随机 取 数 的 方式 赋值 ， 并 且 对 不 同 n 用 了 100 ~500 个 子 样 ， 计 算 其 一 致 性 指 
标 ， 再 求 得 平均 值 ， 记 为 1， 结果 见 表 9-1。 

表 9-1 一 致 性 指标 平均 值 


n-1 

















取 CR = CI/RI 作为 更 合理 的 检验 判断 矩阵 一 致 性 指标 ， 只 要 满足 CR<0. 1， 就 认为 所 得 
比较 矩阵 的 判断 可 以 接受 。 

4. 常用 的 简便 计算 方法 

上 述 计算 权重 系数 的 方法 比较 麻烦 ， 还 有 近似 算法 可 以 简便 地 计算 权重 系数 ， 下 面 介 绍 
两 种 常用 方法 。 

(1) 和 积 法 ”这 种 方法 的 步骤 如 下 : 

1) 对 4 按 列 规范 化 


335 








a, = 一 一 (i,j = 1,2,++,n) 
È a; 
2) 再 按 行 相 加 得 入 , ~ 
wi = }, a; 
3) 再 规范 化 , 即 得 权重 系数 w， 7 
7 
eS 


(2) 方 根 法 ”这 种 方法 的 步骤 如 下 : 
1) 按 行 元 素 求 积 ， 再 求 1 和 m KE, 19 


w, = Ila; (i,j=1,2, =, n) 
j=1 


2) 规范 化 , 即 得 权重 系数 w, 





w 





5. 建 模 

假设 机 器 的 需求 分 别 为 x, 、x,、x3、x4。 其 中 ,x 为 归属 与 爱 的 需求 (多 指 渴望 得 到 用 
PRAE, RZ, 与 用 户 建立 良好 和 谐 的 人 际 关系 )，x, 为 自 苯 的 需求 (多 指 希 望 自己 能 够 
胜任 所 担负 的 工作 , 希望 得 到 用 户 的 高 度 评价 ， 自 苯 需 要 的 满足 将 产生 自信 、 有 价值 和 
“天 生 我 才 必 有 用 ”等 的 感受 ) x 为 认 知 需求 (机 器 渴望 了 解 用 户 的 信息 ， 或 从 用 户 处 学 
到 新 的 知识 ) ，xs 为 自我 实现 欲望 (多 指 机 器 对 于 自我 发 挥 和 完成 的 欲望 ) 。 在 建 模 中 ， 权 
重 系数 完全 取决 于 设计 者 对 机 器 的 性 格 要求 ， 不 同 的 设计 者 所 得 到 的 权重 系数 不 尽 相 同 。 在 
个 性 化 建 模 时 ， 与 设计 者 或 用 户 对 话 的 结果 是 : 

1) x, Sax, 相 比 ， 两 者 重要 性 差不多 ,所 以 a, =1; 

2) wi Ha, HE, x, 重要 ， 所 以 ws =5; 

3) x, Bx, AK, x, 重要 得 多 ， 所 以 a =7; 

4) x, 5 x FALL, x, 重要 ， 所 以 a,, =5; 

5) x, 5 x, AE, x, BESS, PTL a, =7; 

6) x, 与 x 相 比 ，xs 稍 重要 ， 所 以 ay =3。 


























得 比较 矩阵 4 为 
1 1 5 7 
1 1 5 7 
A= 
1/5 1/5 1 3 
1/77 1⁄7 1⁄3 1 


用 “和 积 法 ”计算 权重 系数 ， 得 
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A 
U 〈 按 列 规范 化 ) 
0.427 0.427 0.441 0.389 
0.427 0.427 0.441 0.389 
0.085 0.085 0.088 0. 167 
0.061 0.061 0.029 0.056 
U ( 行 平均 ) 
0.421 
0.421 
~ 10.093 
0. 052 
通过 计算 ,各 w, 值 达到 小 数 点 后 3 位 ， 由 于 和 决策 者 对 话 显 然 达 不 到 如 此 高 的 精度 ， 
因此 取 到 小 数 点 后 两 位 已 经 足够 了 ， 所 以 权重 系数 可 取 为 w =0.42、w, =0.42, w, =0.1、 
w, =0.05。 









































最 大 特征 根 的 简易 算法 是 : 
= [AW], 
À max = 
i=l nw; 
对 上 例 中 的 A, 计算 如 下 : 
1 x0.42+1 x0.42 +5 x0.1+7 x0.05 1.69 
[AW], = 1 x0.42+1 x0.42 +5 x0.1+7 x0.05 E 1. 69 
‘| (1/5) x0. 42 + (1/5) x0.42 +1 x0. 1 +3 x0. 05 10.418 
(1/7) x0. 42 + (1/7) x0.42 + (1/3) x0.1 +1 x0.05] [0.203 
ates 1.69 0.418 Gor) 
ie + + F =4. 072 
> 4\0.42 0.42 0.1 0. 05 
计算 Cl 得 
À 一 一 
game Es | 
n-1l 4-1 
查 n=4 时 ，CJ =0.9， 计 算得 
CI 0.024 
= —— =0. 027 <0.1 
CR 0.9 
所 以 与 用 户 对 话 所 得 结果 的 不 一 致 性 可 以 被 接受 。 求 得 的 权重 系数 w, 可 以 使 用 ， 即 
T= w,x, +wx, 十 203X3 +wyx, =0. 42x, +0. 42x, +0. 1x, +0. 05x, (9-3) 


这 样 ， 就 可 以 得 到 归 一 化 的 了。 对 于 设计 一 个 特定 性 格 的 机 融 来 说 ， 它 的 信息 归 一 化 
的 权重 系数 w 是 固定 不 变 的 。 在 某 一 个 具体 交互 主题 下 ， 通 过 初始 化 x, 、x,、x3、x4， 就 可 
以 得 到 机 器 在 交互 过 程 中 期 望 获得 的 信息 L, BI 
1 = wx 二 +W,%, + WX, (9-4) 
在 实际 机 顺和 人 的 交互 过 程 中 ， 机 顺从 每 句 对 话 或 茶几 名 关联 的 对 话 所 获得 的 信息 是 不 
同 的 ， 通 过 计算 他 们 的 评价 值 x/ 、xy 、xy 、xy 的 权重 和 ， 就 可 以 得 到 机 器 和 人 在 交互 过 程 中 
机 恬 所 获得 的 信息 [,， 即 
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I = wx) +w xy 十 203X3 十 204X4 (9-5) 
9.1.4 学 习 模 型 


按照 人 工 智能 大 师 西蒙 的 观点 ， 学 习 就 是 系统 在 不 断 重 复 的 工作 中 ， 对 本 身 能 力 的 增强 
或 者 改进 ， 使 得 系统 在 下 一 次 执行 同样 任务 或 类 似 任 务 时 ， 会 比 现在 做 得 更 好 或 效率 更 高 。 
学 习 模 型 就 是 为 了 使 机 器 能 对 自己 的 行为 “ 自 知 ”， 进 而 更 好 地 表达 情感 ， 和 主人 进行 和 谐 
的 交互 。 学 习 模 型 主要 用 概率 与 统计 的 方法 来 解决 ， 建 立 概 率 模型 。 举 例 说 明 ， 当 对 某 种 刺 
激 做 出 反应 动作 时 ， 如 受到 夸奖 ， 则 以 后 提高 做 这 种 动作 的 概率 ; 如 受到 批评 ， 则 降低 以 后 
做 这 种 动作 的 概率 。 

WLAN T ASHER RA [R Ry, ot, Ra (独立 事件 ); 用 户 行为 事件 集 UW (U, 
U,, «+, Uy}; 用户 对 机 器 行为 反映 事件 集 WA 1A, B, C} (BURSA). A, BY CAH 
表示 用 户 对 机 器 行为 的 肯定 、 无 反应 、 和 否定 ， 用 户 行为 事件 集 忆 被 映射 到 W P, 

设 机 器 在 行为 表达 时 各 种 行为 发 生 概率 的 初始 值 P(R,) =1/N, N 为 机 器 行为 事件 个 数 
(=1，2，…，N) ，P(CR) 随 着 用 户 对 机 器 行为 的 反映 发 生变 化 ， 即 

P(R;,) (1 +0. 1) ifP(A) =1 
T | 




















P(R,) ifP(B)=1  (i=1,2, =, N) (9-6) 
0. 5P(R,) ifP(C) =1 
根据 机 器 行为 发 生 概率 的 变化 ， 可 以 进行 如 下 分 类 ; 
P(R,) >1/N thenP(R,) 属 于 正 问 事件 集 
ifP(R,) 满 足 11/2N <P(R,) < =1AN ”thenP(R,) 属 于 一 般 事 件 集 (9-7) 
P(R,) < =1/2N thenP(R,) 属 于 负 疝 事件 集 








(i=1,2, =, N) 
机 融 在 行为 表达 时 ， 首 先 要 确定 行为 分 类 事件 集 ， 接 下 来 在 集合 内 挑选 出 一 种 恰当 的 具 
体 行为 方式 。 


92 ”基于 意识 的 人 工 心理 模型 研究 








机 融 意 识 是 人 工 心 理 的 未 来 需要 人 研究 的 内 容 之 一 。 其 应 用 对 象 就 是 支持 开发 有 情感 、 意 
和 智能 的 数字 虚拟 人 和 物理 机 器 人 。 这 里 所 提出 的 人 工 心理 模型 ， 是 基于 心理 学 理论 中 有 
识 和 无 意识 理论 ， 引 入 了 脑 波 和 国 值 概念 ， 通 过 对 人 脑 的 思维 、 推 理 活动 进行 模拟 ,研究 
识 的 建 模 及 其 机 器 实现 。 基 于 此 模型 的 对 话 虚 拟人 ， 能 够 不 断 地 感知 外 界 和 自身 的 状态 变 
化 ， 具 有 一 定 的 认 知 功能 ， 并 且 能 够 自主 地 产生 情绪 反应 ， 对 自己 的 行为 做 出 评价 ， 从 而 研 
究 实 现 较为 全 面 的 情感 -意识 -智能 统一 人 工 心理 模型 。 


9.2.1 意识 的 基本 概念 


意识 是 指 人 以 感觉 、 知 觉 、 记 忆 和 思维 等 心理 活动 过 程 为 基础 的 系统 整体 对 自己 身心 状 
态 与 外 界 环 境 变 化 的 觉 知 和 认识 ， 是 脑 与 心智 的 重大 问题 。 意 识 产 生 的 大 脑 机 制 的 研究 是 当 
今日 然 科 学 发 展 的 必然 趋势 ， 是 当前 的 加 新 前 沿 领域 ,， 它 包括 有 意识 的 和 无 意识 的 心理 活 
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动 。 心 理学 研究 表明 ， 意 识 是 人 类 所 特有 的 一 种 心理 现象 ， 是 人 脑 对 客观 现实 反映 的 机 能 ， 
是 心理 活动 的 高 级 形式 。 心 理 活动 中 ， 只 有 少数 可 以 被 个 体 意识 到 ， 而 多 数 是 未 进入 意识 ， 
不 会 被 个 体 意识 到 的 。 那 些 被 个 体 觉 知 的 心理 活动 ,一般 称 之 为 有 意识 的 ， 而 那些 未 被 个 体 
觉 知 的 心理 活动 ， 称 之 为 无 意识 的 。 

神经 学 家 认为 : 意识 是 脑 功能 的 一 种 表现 ， 只 有 脑 在 活动 ， 即 脑 内 一 些 神经 元 处 于 兴奋 
状态 ,才能 产生 意识 。 但 并 不 是 所 有 的 脑 活动 都 一 定 会 产生 意识 ， 比 如 小 脑 的 兴奋 活动 就 不 
会 产生 意识 。 这 说 明 意 识 只 能 在 特定 的 脑 内 活动 情况 下 才能 产生 。 据 此 ， 通 常 把 脑 内 的 活动 
分 为 两 类 : 不 产生 意识 的 无 意识 脑 活动 和 产生 意识 的 有 意识 脑 活动 。 另 外 ， 意 识 是 在 进化 过 
程 中 形成 的 ， 只 有 生物 的 神经 系统 达到 足够 复杂 时 才 会 出 现 。 因 为 ， 随 着 神经 系统 逐步 复 
杂 ， 出 现 了 多 种 信息 的 同时 输入 的 情况 ， 这 一 方面 为 机 体 有 效 地 了 解 环境 提供 了 便利 ， 但 另 
一 方面 ， 却 由 于 不 同 信息 的 相互 干扰 ， 给 信息 的 选择 制造 了 困难 。 选 择 和 突出 当前 的 主要 信 
息 ， 从 而 做 出 快速 而 有 效 的 反应 ， 就 是 意识 出 现 的 主要 原因 。 有 意识 的 脑 活动 成 为 了 脑 内 多 
种 活动 的 中 心 ， 在 当前 的 信息 处 理 中 占据 着 支配 地 位 。 


9.2.2 人 脑 的 信息 处 理 机 制 


人 脑 位 于 颅 腔 内 ， 有 大 脑 、 间 脑 、 中 脑 、 脑 桥 和 延髓 等 部 分 构成 。 神 经 细胞 是 大 脑 的 功 
能 单元 ， 人 脑 中 布 满 了 由 140 多 亿 个 神经 细胞 构成 的 精密 的 神经 网 ， 它 比 现在 的 任何 计算 机 
都 要 先进 ， 并 且 有 多 种 多 样 的 功能 。 大 脑 是 脑 的 最 大 一 部 分 ， 它 的 重要 特征 是 外 面 有 一 层 薄 
注 的 膜 一 一 大 脑 皮层 ， 它 是 人 脑 中 最 发 达 的 部 分 ， 人 类 思想 的 知 、 情 、 意 部 是 在 它 的 作用 下 
产生 的 。 大 脑 的 左 、 右 两 个 半球 各 有 4 个 脑 叶 〈 即 额 叶 、 顶 叶 、 枕 叶 和 杜 叶 ) ， 神 皱 非常 
深 ， 如 果 铺 开 ， 它 的 面积 将 扩大 3 倍 。 人 脑 的 功能 有 无 数 多 个 ， 其 中 大 部 分 都 是 由 不 同 组 成 
部 分 相互 作用 产生 的 ， 而 大 脑 本 身 这 一 特殊 部 分 是 产生 思想 、 控 制 语言 和 储存 信息 的 场所 。 

脑 的 主要 功能 是 接受 和 处 理 来 自体 内 外 环境 的 各 种 信息 ， 并 以 此 为 依据 调节 、 控 制 机 体 
活动 ， 实 现 个 体 的 生存 和 发 展 。 人 脑 中 并 不 存在 直接 与 外 界 的 每 种 功能 或 行为 相对 应 的 单一 
中 枢 ， 脑 的 功能 的 实现 有 赖 于 各 个 部 分 的 相互 协调 。 科 学 研究 发 现 ， 脑 在 心理 活动 中 可 以 区 
分 为 四 个 基本 机 能 联合 区 ， 任 何 一 种 心理 活动 的 实现 都 必须 要 有 它们 参与 。 它 们 是 : OR 
证 、 调 节 紧 张 度 和 觉醒 状态 的 联合 区 ; @@ 接 受 、 加 工 和 存储 信息 的 联合 区 ;， 名 制定 程序 、 调 
节 控 制 心理 活动 和 行为 的 联合 区 ; 册 评 佑 信息 和 产生 情绪 体验 的 联合 区 。 

人 脑 是 长 期 自然 进化 的 高 度 复杂 和 精巧 的 智能 系统 ， 能 灵活 处 理 各 种 复杂 的 、 不 精确 的 
和 模糊 的 信息 ， 不 仅 具有 形象 思维 和 逻辑 思维 功能 ， 而 且 具 有 灵感 思维 、 创 造 性 思维 及 直觉 
认 知 、 联 想 推理 、 分 析 决 策 、 预 测 决策 的 功能 。 为 了 建立 机 器 可 实现 的 心理 模型 ， 需 要 尽 可 
能 多 地 了 解 人 脑 ， 并 且 从 工程 学 的 观点 去 研究 人 脑 的 机 能 、 算 法 和 结构 。 


9.2.3 模型 的 建立 


意识 问题 是 一 个 涉及 心智 -身体 的 问题 ， 这 一 问题 相当 复杂 ， 并 且 还 处 于 发 展 的 初始 阶 
段 ， 各 家 各 派 说 法 不 一 。 但 一 般 说 来 ， 各 理论 对 意识 现象 进行 的 解释 主要 分 为 3 大 类 : 一 是 
基于 神经 生物 学 的 意识 理论 ， 这 种 理论 注重 于 意识 的 神经 生物 学 根源 ， 主 要 从 大 脑 的 神经 生 
物 学 原理 来 解释 意识 现象 ， 他 们 认为 脑 干 在 维持 大 脑 的 清醒 状态 上 起 着 关键 作用 ， 而 丘脑 和 
大 脑 皮 层 的 活动 决定 着 意识 的 内 容 ， 二 是 基于 信息 人 处理 的 意识 理论 ， 主 要 从 意识 的 功能 性 角 
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度 来 理解 意识 现象 ， 他 们 关注 的 是 意识 是 怎样 作用 于 物理 世界 的 ， 因 此 采用 信息 处 理 的 框架 
来 解释 意识 现象 ; 三 是 基于 社会 学 的 意识 理论 ， 他 们 认为 对 意识 现象 的 理解 需要 考虑 意识 的 
社会 学 功能 ， 意 识 经 验 是 一 种 社会 构建 的 现象 。 我 们 这 里 主要 从 信息 处 理 的 角度 对 意识 理论 
进行 分 析 ， 从 而 建立 可 仿真 实现 的 信息 流程 。 

脑 是 一 个 并 行 分 布 的 信息 处 理 机 构 ， 外 部 环境 通过 人 的 感 党 、 视 觉 、 听 觉 等 外 部 器 官 将 
多 种 信息 传人 大 脑 ， 开 始 了 信息 处 理 的 第 一 个 阶段 一 一 信息 融 

1. 信息 融合 机 制 

壬 意识 的 作用 下 ， 外 部 环境 输入 大 脑 的 原始 信息 ， 按 照 一 定 的 规则 对 信息 进行 分 类 、 综 
合 ， 并 通过 抽象 形成 概念 ， 进 而 在 脑 内 形成 有 效 的 信息 存储 结构 。 这 种 结构 可 以 整合 新 、 旧 
信息 ， 并 可 以 适应 当前 的 任务 需要 ， 将 存储 内 容 随 意 地 组 合 和 分 解 ， 从 而 提取 和 构造 出 有 效 
的 信息 。 基 于 大 脑 信息 处 理 的 模式 ， 根 据 马 斯 洛 的 “七 层 需要 ”理论 ， 我 们 建立 了 可 实现 
的 知识 规则 库 和 数据 规则 库 。 

2. 信息 加 工 机 制 

认 知 心理 学 认为 ， 在 人 脑 的 认 知 过 程 中 ， 脑 内 信息 加 工分 为 受 控 加 工 模式 和 自动 加 工 模 
式 。 其 中 ， 受 控 加 工 模式 是 受 控 制 的 、 有 注意 参与 的 加 工 模式 ; 自动 加 工 模式 是 不 受 控 制 
的 、 不 需要 注意 参与 的 加 工 模式 。 同 时 ， 这 两 种 加 工 模式 又 可 以 相互 转变 。 

科学 研究 表明 ， 人 类 的 大 脑 会 不 时 地 发 出 电波 一 一 脑 波 。 按 照发 出 脑 波 的 频率 ， 科 学 家 
们 把 它 分 成 了 a、B、9、56 四 类 。 当 8B 波 出 现时 ,说明 大 脑 皮 质 处 于 兴奋 、 清 醒 状 态 ; Ya 
波 出 现时 ， 说 明 健康 人 处 于 安静 、 闭 目 状 态 ; 当 0 波 出 现时 ， 说 明 处 于 困倦 、 缺 氧 状态; 当 
6 波 出 现时 ， 说明 处 于 睡眠 状态 。 可 以 通过 ERP 检测 装置 ， 用 脑 波 作为 仿真 系统 信息 输入 的 
一 部 分 。 通 过 对 脑 波 的 检测 ， 借 助 于 脑 波 理 论 ， 可 以 判断 大 脑 所 处 的 状态 ， 从 而 根据 注意 与 
否 ， 决 定 人 脑 的 工作 模式 ， 当 人 脑 工 作 在 非 注 意 模 式 时 ， 说 明 大 脑 可 以 使 熟悉 的 任务 转 为 自 
动 化 处 理 ， 发 挥 并 行 系统 中 无 意识 活动 的 作用 。 反 之 ， 则 进入 受 控 加 工 模式 ， 发 挥 并 行 系 统 
的 有 意识 活动 的 作用 。 

3. 有 意识 和 无 意识 行为 决策 机 制 

科学 研究 表明 ， 意 识 体验 遵从 以 下 4 个 定律 : DD 当 激活 脑 区 的 激活 水 平 达到 意识 的 临界 
条 件 时 ,涌现 意识 ; @) 意 识 体验 的 内 容 由 专 一 性 脑 区 的 激活 来 表征 ; @) 意 识 体 验 的 强度 随 着 
脑 区 激活 水 平 的 提高 而 增加 ; 多 注意 的 作用 是 增强 有 关 脑 区 的 激活 水 平 ， 使 之 进入 意识 ， 同 
时 抑制 其 他 脑 区 的 活动 。 

意识 是 脑 的 四 个 联合 区 中 许多 联合 区 协同 活动 的 结果 ， 脑 内 信息 加 工 系统 中 大 脑 皮层 相 
关 区 域 的 激发 ， 是 大 脑 进 行 信息 的 有 意识 和 无 意识 加 工 的 基本 脑 机 制 。 必 须 既 有 脑 内 各 个 联 
合 区 的 支持 和 调控 ， 又 有 大 脑 皮层 相关 区 域 的 激发 ， 并 且 这 种 激发 的 能 量 超过 一 定 的 阔 值 
( 称 之 为 意识 的 阔 值 ) ， 才 会 涌现 出 意识 。 同 样 ， 无 意识 也 是 大 脑 皮层 相关 区 域 的 激发 ， 只 
是 这 种 激发 能 量 低 于 意识 的 阔 值 ， 而 未 能 进入 意识 。 

根据 以 上 理论 ， 我 们 在 模型 里 引入 了 国 值 的 概念 ， 认 为 当 人 脑 工 作 在 受 控 加 工 模式 状态 
情况 下 ， 对 周围 事物 注意 的 程度 ， 决 定 了 人 类 大 脑 的 激发 区 域 的 位 置 ， 当 某 一 种 激发 使 某 些 
区 域 处 于 激活 状态 ， 并 且 激 活 的 能 量 超 过 我 们 所 设 的 阔 值 时 ， 我 们 说 这 种 信息 进入 了 有 意识 
状态 。 反 之 ， 我 们 就 认为 进入 了 无 意识 状态 。 
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4. 情绪 和 行为 的 输出 
人 脑 是 一 个 非常 复杂 的 并 行 处 理 系统 ， 每 一 个 动作 和 表情 都 不 能 用 单纯 的 拥有 意识 和 无 
意识 来 划分 ， 比 如 对 于 一 个 射手 来 说 ， 射 箭 这 个 动作 既 包 含 了 有 意识 的 活动 ， 也 包含 了 无 意 
识 的 活动 。 由 于 长 时 间 的 训练 ， 弯 号 搭 箭 这 种 动作 已 经 逐渐 成 为 大 脑 所 熟悉 的 内 容 ， 通 常 是 
作为 无 意识 来 处 理 的 ， 射 手 自己 也 没有 意识 到 大 脑 正在 对 他 的 身体 的 姿势 、 肌 肉 的 紧张 度 以 
及 双眼 的 焦距 进行 调整 ， 此 时 他 的 注意 力 都 集中 于 靶 心 ， 以 便 准 确 判 断 出 最 佳 发 射 时 间 ， 而 
后 一 种 动作 明显 是 有 意识 的 。 
另外 ， 人 的 情绪 和 行为 输出 后 ， 自 号 会 对 此 做 出 评价 ， 以 便 不 断 调整 自己 的 行为 、 举 
止 ， 提 高 个 人 的 素质 。 我 们 这 里 根据 人 的 这 一 行为 ， 设 计 了 一 套数 据 库 自动 更 新 机 制 。 这 一 
更 新 机 制 主要 是 依据 人 类 的 自我 评价 能 力 给 出 的 ， 它 引入 了 人 类 的 行为 趋 避 度 、 情 绪 愉 局 
度 、 生 理 唤 醒 度 和 心理 满足 度 等 几 个 参考 量 ， 使 系统 能 够 在 仿真 过 程 中 不 断 地 进化 、 学 习 ， 
以 实现 更 新 决策 、 智 能 升级 的 功能 。 
综 上 所 述 ， 基 于 意识 的 人 工 心理 模型 信息 处 理 过 程 如 图 9-4 所 示 。 
(信息 加 工 主线 ) 
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图 94 ”基于 意识 的 人 工 心理 模型 信息 处 理 过 程 
9.2.4 系统 仿真 的 实现 
为 了 验证 上 述 所 提出 的 人 工 心理 模型 的 正确 性 和 有 效 性 ， 开 发 了 相应 的 应 用 软件 ， 在 一 
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定 的 使 用 限制 条 件 下 ， 编 写 了 整个 对 话 虚 拟人 系统 软件 ， 这 里 以 某 一 特定 信息 咨询 情感 机 器 
人 为 应 用 对 象 ， 验 证 了 本 模型 在 完成 任务 的 思维 推理 过 程 中 ， 进 行 无 意识 决策 ( 查 数据 库 ) 
和 有 意识 决策 (推理 模型 ) 的 可 行 性 和 合理 性 。 软 件 流 程 如 图 9-5 所 示 。 系 统 界 面 及 运行 结 
果 如 图 9-6 所 示 。 
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图 9-5 ”软件 系统 流程 
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这 里 构建 出 基于 意识 的 人 工 心理 模型 ， 设 计 了 可 以 仿真 实现 的 信息 流程 ， 并 编写 了 针对 
某 一 特定 信息 咨询 员 的 软件 系统 ， 验 证 了 此 模型 的 有 效 性 和 合理 性 。 其 目的 在 于 借助 有 意识 
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和 无 意识 理论 ， 试 图 模拟 人 类 的 认 知 、 情 绪 和 意识 ， 为 情感 机 器 人 的 实现 提供 一 种 理论 研究 
方法 和 信息 处 理 模型 。 但 由 于 意识 问题 的 研究 仍然 处 于 发 展 阶段 ， 我 们 只 是 做 了 初步 的 探 
W, 今后 会 在 此 模型 的 基础 上 ， 对 系统 的 行为 评价 及 有 意识 和 无 意识 理论 的 软件 化 等 方面 进 
一 步 加 以 完善 。 


9.3 ”情绪 的 非 线性 数学 描述 








9.3.1 情绪 的 非 线 性 特征 


情绪 作为 一 种 心理 现象 ， 大 多 数 情况 下 具有 非 线性 特性 。 而 多 变量 分 析 是 在 数据 为 线性 
结构 、 误 差 为 正规 分 布 的 条 件 下 使 用 的 。 所 以 在 进行 情绪 信息 处 理 时 ， 有 时 需要 使 用 非 线性 
分 析 方 法 ， 如 模糊 理论 、 粗 糙 集 理论 、 神 经 网 络 、 混 沌 理论 、 遗 传 算法 等 ， 均 为 情绪 信息 处 
理 的 有 效 非 线 性 分 析 方法 。 这 里 将 对 非 线性 理论 用 于 情绪 建 模 进 行 探索 研究 。 

情绪 是 一 个 多 维度 系统 ， 它 不 但 包括 许多 互相 连接 的 子 系统 ， 而 且 这 些 子 系统 的 活动 也 
是 动态 变化 的 。Izard 认为 情绪 是 神经 生理 、 外 显 表 情 和 内 在 体验 的 综合 过 程 。 情 绪 的 神经 
基础 包括 了 中 枢 神 经 系统 、 外 周 神 经 系统 和 自主 神经 系统 的 活动 。 例 如 人 们 恺 惯 时 ， 伴 随 着 
翁 惧 体验 ， 同 时 会 表现 出 铠 惧 的 表情 ， 以 及 一 系列 生理 反应 ， 如 肌肉 紧张 、 面 色 苍白 、 腹 中 
空虚 感 、 血 液 更 多 的 流向 四 胶 。 所 以 在 情绪 研究 中 ， 不 能 只 从 一 个 侧面 研究 情绪 过 程 ， 也 无 
法 只 凭借 一 种 测量 方法 就 能 解释 情绪 的 科学 规律 ， 必 须 把 这 几 个 方面 结合 起 来 。 

情绪 是 一 种 过 程 而 不 是 状态 。Scherer 认为 情绪 是 “各 自 系统 的 同步 活动 和 动态 连接 ”。 
Tracy 等 对 由 于 看 到 蛇 而 诱发 的 铠 惯 情绪 进行 了 血压 、 面 部 表情 和 翁 惧 体验 的 同步 动态 测量 。 
测量 的 结果 是 三 者 都 呈现 一 定 的 波形 ， 并 最 终 回 到 稳 态 。 这 些 反 应 的 发 生 并 不 是 彼此 孤立 
的 ， 各 反应 之 间 彼 此 连接 一 一 它们 一 起 发 生 并 互相 影响 。 就 像 Marshall 和 Zimbardo 曾 证 明 的 
AGRE, AE SRBC REIS BCE LAS, 情绪 的 行为 表现 (尤其 是 面部 表情 ) 又 能 导致 生理 唤 
醒 和 情绪 体验 。 情 绪 是 一 个 复杂 的 巨大 系统 ， 只 凭 对 各 成 分 的 了 解 无 法 对 整个 系统 做 出 解 
释 。 在 探索 研究 途径 的 过 程 中 ， 要 明白 情绪 系统 的 整体 大 于 部 分 之 和 。 人 情绪 的 过 程 性 不 但 指 
单 次 情绪 的 动态 变化 ， 还 指 不 同情 绪 的 更 蔡 以 及 心境 和 情绪 的 相互 作用 。 

不 同情 绪 之 间 彼 此 易 感 染 且 相互 作用 ， 每 次 情绪 都 有 可 能 受到 在 其 前 面 发 生 的 情绪 的 影 
响 ， 同 样 也 可 能 影响 着 下 一 次 情绪 。 同 样 ， 人 们 对 于 同一 事件 的 情绪 反应 会 随 着 时 间 而 发 生 
着 动态 变化 。 比 如 ， 对 于 一 件 新 鲜 事物 ， 人 们 最 初 的 反应 是 由 于 感到 新 奇 而 靠近 ， 然 而 随 着 
了 解 的 深入 ,逐渐 产生 对 其 好 感 或 者 讨厌 的 情绪 。 这 些 都 说 明 ， 不 能 扳 立 和 静止 地 研究 情 
绪 。 

心境 与 特定 事件 诱发 的 情绪 反应 之 间 相 互 作用 ， 心 境 可 以 影响 情绪 ， 而 情绪 也 可 以 影响 
心境 ， 所 以 心境 是 情绪 研究 的 一 个 重要 组 成 部 分 。 对 于 情绪 事件 来 说 ， 一 个 重要 的 初始 条 件 
便 是 心境 。 有 些 理论 学 家 假设 : 心境 的 主要 功能 是 改变 特定 情绪 兴奋 的 冰 值 。 一 个 冷 刺 激 作 
用 于 皮肤 会 有 两 种 不 同情 况 : 如 果皮 肤 原 本 过 热 ， 该 冷 刺 激 就 诱发 快乐 情绪 ; 相反， 如果 原 
先 皮 肤 就 很 冷 ， 那 么 该 冷 刺激 就 成 了 负 性 刺激 。 同 样 ， 一 个 偶然 事件 (如 在 公车 上 被 别人 
不 小 心 踩 了 一 下 ) 发 生 于 快乐 心境 时 ， 情 绪 系统 不 会 被 激活 ; 然而 如 果 该 事件 发 生 于 愤怒 
心境 时 ， 则 会 激活 情绪 系统 。 这 些 都 显示 情绪 的 动态 性 依赖 于 系统 的 初始 状态 。 
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举 一 个 常见 的 生活 场景 实例 来 说 明 一 天 中 情绪 的 动态 变化 ， 以 及 心境 和 情绪 的 相互 作 
用 。 尽 管 睡眠 不 足 ， 然 而 早晨 刺耳 的 六 铃声 还 是 准时 把 你 从 梦 中 惊醒 ， 这 就 导致 了 烦躁 的 心 
境 ， 也 是 你 敏感 化 的 初始 状态 。 在 你 赶 去 上 班 的 途中 ， 你 又 磁 到 了 几 件 诸如 交通 阻塞 等 偶然 
事件 ， 在 烦躁 的 心境 下 ， 这 些 事 件 使 你 愤怒 。 到 了 公司 后 ， 这 种 愤怒 心境 使 你 和 上 司 吵 了 一 
架 。 这 次 吵架 又 使 得 自己 认为 会 葬送 本 该 到 来 的 升迁 机 会 ， 于 是 你 的 心境 转变 为 悲伤 (一 
个 新 的 敏感 化 的 初始 状态 ) 。 这 天 还 发 生 了 一 些 其 他 事件 : 复印 机 坏 了 、 老 板 又 给 你 安排 一 
件 环 手 的 任务 、 一 个 同事 被 降 职 了 等 。 悲 伤 的 心境 使 得 这 些 事件 诱发 出 悲伤 的 情绪 。 这 时 ， 
你 的 一 个 友好 的 同事 注意 到 了 你 的 糟糕 的 心境 ， 于 是 他 给 你 发 了 一 个 有 趣 的 电子 邮件 ， 这 也 
许 使 你 的 心境 转变 成 快乐 。 后 来 你 又 看 了 一 次 那个 邮件 ， 你 笑 了 。 这 样 的 快乐 反馈 到 系统 ， 
并 促使 你 重新 调整 系统 。 当 那天 即将 结束 的 时 候 ， 这 种 快乐 的 心境 又 增强 了 ， 因 为 又 有 几 件 
事情 让 你 觉得 高 兴 〈 下 班 后 和 几 个 好 友 一 起 喝 啤酒 ， 又 到 了 自己 喜欢 看 的 电视 连续 剧 开播 
的 时 间 了 ) 。 从 这 个 例子 可 以 看 出 ， 人 类 的 情绪 具有 动态 变化 的 特点 ， 并 且 依 赖 于 系统 的 初 
始 状态 。 而 这 些 特点 正 符 合 非 线性 动态 系统 的 特点 。 


9.3.2 非 线 性 动态 理论 可 以 用 于 情绪 建 模 的 原因 


根据 前 面 对 情 绪 的 分 析 ， 人 情绪 是 一 个 多 维 的 系统 ， 过 去 的 情绪 对 现在 的 情绪 有 影响 。 而 
动态 系统 是 一 个 和 时 间 直 接 相关 的 多 维 现象 。 动 态 系统 中 的 时 间 不 仅仅 是 一 个 指标 或 一 系列 
事件 的 序列 。 动 态 系统 中 的 事件 是 与 时 间 紧 密 相 关 的 ， 未 来 衔接 着 过 去 ， 当 前 的 行为 受到 过 
去 事件 的 影响 。 前 面 所 举 的 例子 正 说 明了 情绪 也 具有 这 个 性 质 ， 所 以 用 动态 系统 来 描述 情绪 
是 恰当 的 。 

情绪 揭示 的 内 容 与 生理 、 认 知 、 行 为 、 社 会 和 文化 系统 等 各 方面 都 有 关系 ， 所 以 在 相关 
的 各 个 专业 知识 领域 专家 们 都 构建 了 自己 的 情绪 定义 、 度 量 标准 以 及 作用 理论 等 。 这 样 做 的 
结果 是 不 存在 一 个 真正 的 情感 科学 的 领域 。 专 业 化 和 偏见 是 造成 情绪 研究 领域 一 些 基 本 分 歧 
的 一 个 原因 。 男 一 个 原因 则 是 情绪 研究 一 直 以 来 都 是 依靠 着 线性 的 统计 数据 以 及 静态 模型 进 
行 研 究 的 。 基 于 平均 分 配 的 统计 数据 ， 对 于 像 情 绪 这 样 复杂 的 现象 而 言 是 不 够 发 达 的 ， 并 且 
没有 足够 大 的 模型 以 及 预测 情绪 的 能 力 。 但 这 并 不 意味 着 它们 是 无 用 的 或 是 没有 促进 情绪 科 
学 的 发 展 ， 但 是 它们 却 对 将 情绪 视 为 一 个 复杂 过 程 的 更 完整 的 理解 造成 了 阻碍 。 情 绪 包 括 了 
生理 上 的 激发 以 及 行为 上 的 表露 ; 它 包 括 自我 意识 以 及 口头 的 表达 ; 它 具 有 天 生 固 有 的 以 及 
后 天 培养 的 影响 力 一 一 但 是 所 有 的 这 些 东西 还 是 不 能 足以 使 人 们 了 解 情绪 到 底 是 什么 。 真 正 
对 情绪 的 了 解 和 掌握 来 源 于 对 情绪 各 个 微小 组 成 部 分 的 大 量 观察 ， 以 及 对 它们 互相 作用 的 多 
次 观察 。 下 面 先 从 线性 理论 来 进行 分 析 ， 探 讨 线性 理论 在 情绪 描述 上 的 固有 的 局 限 性 ， 同 时 
也 说 明 非 线性 理论 的 潜在 的 优越 性 和 先进 性 。 

1. 线性 理论 不 能 确切 地 描述 情绪 的 原因 

在 数学 上 ， 线 性 方程 与 非 线性 方程 之 间 有 着 本 质 性 的 差别 ， 主 要 表现 为 一 个 线性 方程 的 
任意 两 个 解 加 在 一 起 仍然 是 该 方程 的 解 ， 这 一 原理 就 是 车 名 的 线性 方程 的 全 加 原理 。 它 为 解 
决 “ 线 性 ”问题 提供 了 一 条 思路 ， 即 可 以 把 整个 问题 分 解 成 许多 个 “小 ”问题 ， 再 把 各 个 
“小 ”问题 的 解 琶 加 起 来 而 得 到 整个 问题 的 解 ， 但 是 对 于 一 个 “ 非 线 性 ”问题 ， 则 不 可 以 如 
此 处 理 ， 因 为 非 线性 方程 不 再 满足 “ 考 加 原理 ”， 因 此 必须 整体 地 考虑 原来 的 问题 才 行 。 这 
个 简单 的 说 明 告 诉 我 们 ， 非 线性 问题 包含 着 不 可 忽视 的 复杂 性 。 
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下 面 从 线性 方程 的 数学 角度 来 分 析 线 性 理论 用 于 情绪 建 模 的 局 限 性 。 

(1) 线性 方程 的 3 种 基本 类 型 ”线性 方程 存在 3 种 基本 类 型 : 点 斜 式 方程 、 微 分 方程 
和 差分 方程 ， 下 面 分 别 进行 讨论 。 

1) 点 斜 式 方程 点 斜 式 方程 最 基本 的 形式 为 

















y, =Q +x, (9-8) 
AF, y, 为 因 变 量 ; a 为 添加 的 常数 〈 或 是 一 个 扰动 ) ; B 是 斜率 系数 ， 也 称 为 回归 系数 ;x 
是 自 变 量 。 


此 方程 也 称 为 一 元 线性 回归 方程 ， 从 统计 学 的 意义 上 来 说 ， 是 自 变 量 每 变化 一 个 单位 ， 
因 变 量 平 均 变 化 的 单位 数 。 

如 果 两 个 变量 是 线性 相关 的 ， 比 如 受 教育 程度 和 收入 ， 当 知道 一 个 人 的 受 教 育 程度 和 两 
者 的 关系 时 ， 就 能 利用 这 个 公式 来 预测 收入 。 

简单 的 线性 关系 在 心理 学 中 是 很 军 有 的 ， 绝 大 多 数 现象 都 有 复合 的 自 变 量 。 因 此 ， 复 合 
的 线性 回归 方程 被 研究 ， 以 使 其 能 在 复合 的 变量 下 预测 结果 。 虽 然 更 复杂 ， 但 这 些 方程 仍然 
利用 同样 基本 的 形式 : 














y, =a+B,x, +B,x, +B,x, +E (9-9) 
tH, y, 为 因 变 量 ; a 为 添加 的 常数 (或 是 一 个 扰动 ); B.(i=1, 2, 3) 为 偏 回归 系数 ; x, 
(i=1, 2,3) 为 自 变 量 。 

此 方程 也 称 为 自 变 量 数目 为 3 的 多 元 线性 回归 方程 。3 个 自 变 量 x, 、x,、xs 对 因 变 量 y 
的 影响 是 : 每 个 自 变量 的 影响 是 线性 的 ，@3 个 自 变 量 影响 的 总 体 效果 是 简单 释 加 的 关系 
(无 交互 效应 ) 。 

举例 说 明 : 因 变 量 y, 表示 某 些 人 焦虑 程度 的 值 ， 它 能 被 这 些 人 的 心跳 频率 x, TET BE 
惯 表 情 的 程度 x, 、 对 一 个 害怕 事物 的 接近 度 x;， 加 上 一 个 常数 a 和 一 个 误差 值 = 来 表示 。 
可 以 将 这 个 常数 用 来 表示 焦虑 的 基本 等 级 ， 将 误差 值 用 来 表示 测量 中 的 错误 和 没有 经 过 测量 
的 各 种 因素 的 集合 。 

2) 微分 方程 : 微分 方程 最 基本 的 形式 为 

dy, =a +By, (9-10) 
RP, y 为 存在 等 级 ; dy, 为 瞬时 变化 率 。 
3) 差分 方程 : 差分 方程 的 表现 形式 为 
Vy, =a +By,_, (9-11) 
差分 方程 描述 的 是 在 一 段 给 定时 期 内 变量 离散 的 变化 。 

(2) 线性 方程 不 能 完整 地 构建 情绪 模型 的 原因 

1) 对 于 点 斜 式 方程 对 于 单 变量 的 点 斜 式 方程 来 说 ， 如 果 情 绪 能 够 被 定义 为 一 个 单一 
变量 的 系统 ， 那 么 这 些 方程 就 能 很 好 地 构建 情绪 的 模型 。 但 是 现在 并 不 存在 一 个 一 致 的 情绪 
的 度量 尺度 。 人 们 可 以 说 血压 是 142/95， 也 可 以 说 扁桃 体 的 活性 增加 了 20% ， 但 是 不 能 说 
某 人 的 焦虑 等 级 为 12。 尽 管 情感 计算 有 很 多 检测 人 体 情 感 信息 信号 的 方法 , 但 是 到 目前 为 
IE, 还 没有 人 能 把 一 致 的 度量 标准 放 在 一 起 组 成 一 个 简单 的 检测 ， 而 这 种 检测 对 于 点 斜 式 方 
程 是 必要 的 。 

多 重 回 归 对 情绪 度量 的 设计 可 能 是 有 帮助 的 ， 能 比较 和 结合 多 个 变量 (例如 面部 特定 
肌肉 的 紧张 度 、 血 压 、 血 浆 中 的 肾上腺 素 、 扁 桃 体 活 性 等 ) ， 以 此 来 发 展 一 个 回归 方程 ， 使 
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其 能 够 在 一 个 特别 的 时 刻 及 时 地 产生 一 个 单一 的 情感 的 测量 值 。 但 是 在 一 个 单独 时 刻 描述 一 


Hb 
个 情绪 时 ， 有 效 性 总 会 受到 限制 一 一 相 比 之 下 ， 了 解 或 预测 它 下 一 次 会 出 现 怎样 的 情绪 或 是 




















单独 的 组 成 部 分 是 怎样 互相 作用 的 ， 则 更 为 困难 。 最 好 的 是 线性 回归 能 表现 出 情绪 的 一 个 组 
BABS} (AIL) ， 它 是 和 其 他 部 分 〈 血 压 和 行为 ) 相关 的 。 但 是 当 这 种 使 人 感 兴趣 的 
现象 变 为 一 个 复杂 系统 时 ， 线 性 回归 的 逻辑 就 变 为 循环 的 了 : 自我 报告 预测 血压 ， 而 血压 预 








S 





系统 建 模 。 


测 面部 情绪 ， 面 部 情绪 预测 对 ， 惧 事物 的 接近 度 ， 而 这 个 接近 度 又 预测 自我 汇报 ， 以 此 类 
推 。 因 此 ， 虽 然 线性 方程 可 以 在 系统 的 各 个 部 分 建 模 中 使 用 ， 但 是 线性 方程 不 能 为 整个 情绪 





2) 对 于 差分 方程 和 微分 方程 : 差分 方程 优 于 点 斜 式 方程 的 地 方 是 ， 前 者 能 模拟 一 个 变 








量 随时 间 的 变化 ; 微分 方程 也 是 类 似 的， 但 在 实际 应 用 中 ， 只 有 离散 的 差分 方程 才 可 以 计 


算 。 下 面 举 一 个 简单 的 例子 ,说明 为 什么 简单 的 差分 方程 和 微分 方程 不 能 准确 地 模拟 情绪 的 























复杂 性 。 
y’ -0.5y=0 (9-12) 
y"+y =0 (9-13) 
y" +0. 5y ty =0 (9-14) 
方程 式 (9-12) 的 解 是 
yi (t) =0. 25e°* (9-15) 
方程 式 (9-13) 的 解 是 
y, (t) =0. 5sint + 2cost (9-16) 
方程 式 (9-14) 的 解 是 
y(t) =0.5e~°*"[ cos(0. 968 x 0. 25t) +2sin(0. 968 x0. 25t) ] (9-17) 
这 3 个 方程 式 的 解 的 曲线 如 图 9-7 所 示 。 
从 图 9-7 中 可 以 看 到 ， 人 情绪 不 会 具 5 
有 式 (9-15) 所 描述 的 无 限 的 指数 级 增 4 





长 的 特性 ， 情 绪 也 不 像 式 (9-16) 所 显 
示 的 是 无 衰减 的 反应 ， 它 有 清楚 的 内 部 
与 外 部 压力 去 规则 和 限制 情绪 的 反应 。 

















在 以 上 3 个 公式 中 , 式 (9-17) 可 能 是 ! 
最 接近 模拟 情绪 反应 波形 的 ， 但 情绪 不 o 





具有 一 个 规则 振动 的 固定 周期 Se 
频率 。 如 果 它 有 的 话 ， 预 测 情绪 反应 将 








情绪 的 复杂 性 。 
总 之 ， 情 绪 是 包括 时 间 变 化 和 不 能 
被 线性 准确 描述 的 复杂 现象 。 
2. 非 线 性 理论 在 情绪 建 模 研究 中 的 优越 





是 一 个 相对 简单 的 任务 。 因 此 ， 简单 的 ”2 





曲线 y=exp(-0.257)x[cos(0.968x0.251)+2cos(0.968x0.25)] 






曲线 y=0.25xexpt0.57) 


曲线 y=0.5sint+2cost 
| | 


差分 方程 和 微分 方程 都 不 能 准确 地 模拟 3 z4 =) 0 2 4 6 











t 


图 9-7 3 个 微分 方程 的 解 


性 


在 菜 种 定义 上 ， 非 线性 科学 是 研究 复杂 性 的 科学 ， 这 名 话 这 样 理解 比较 贴切 ， 非 线性 科 
学 有 可 能 使 现实 世界 中 那些 杂乱 无 章 的 空间 形态 和 似乎 毫 无 规律 的 时 间 序 列 成 为 研究 对 象 ， 
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并 从 中 发 现 它 们 的 “复杂 ”规律 性 。 而 情绪 正 是 一 种 对 初 值 敏感 、 动 态 变 化 的 复杂 现象 。 
非 线性 动态 系统 分 析 具 有 描述 和 模拟 复杂 现象 的 能 力 ， 在 情绪 研究 中 应 用 非 线性 动态 方程 可 
解答 大 量 的 问题 。 


9.3.3 将 非 线性 动态 理论 应 用 到 情绪 系统 中 的 设想 和 困难 性 


1. 将 非 线性 动态 理论 应 用 到 情绪 系统 中 的 设想 

根据 情绪 的 特点 和 非 线性 系统 的 特点 ， 可 以 将 非 线 性 动态 理论 应 用 到 情绪 系统 中 ， 人 情绪 
系统 采用 非 线性 系统 的 形式 ， 系 统 的 输入 可 以 是 人 类 的 生理 信和 号 或 者 其 他 可 以 表示 人 类 情绪 
的 信号 ， 通 过 对 系统 进行 控制 ， 就 可 以 消除 初始 状态 对 运动 不 确定 性 的 影响 ， 使 系统 的 运动 
最 终 按照 人 们 的 意愿 发 展 ， 得 到 人 们 需要 的 情感 信息 输出 。 

2. 将 非 线性 动态 理论 应 用 到 情绪 系统 中 的 困难 性 

尽管 非 线性 科学 有 了 很 大 的 发 展 ,但 是 无 论 在 理论 上 还 是 在 实践 上 ， 非 线性 科学 面前 都 
有 重重 障碍 难以 逾越 ， 例 如 关于 多 重 分 形 的 奇异 点 集 的 标 度 结构 、 图 像 形成 系统 的 系列 方 
程 、 复 杂 图 形 对 应 流 边 界 层 的 作用 、 确 定性 混沌 系统 的 预测 等 ， 而 且 由 于 非 线性 理论 描述 和 
模拟 复杂 现象 ， 需 要 充分 了 解 系统 的 内 部 特性 和 各 个 子 系统 的 特点 ， 并 充分 考虑 到 各 个 子 系 
统 之 间 的 联系 ， 所 以 用 非 线性 动态 理论 建立 数学 模型 也 存在 着 很 大 的 困难 性 。 

人 类 情绪 是 复杂 的 和 多 维 的 ， 我 们 需要 确实 理解 情绪 的 演变 过 程 以 及 各 成 分 动态 连接 过 
程 ， 在 这 方面 ， 心 理学 的 研究 还 存在 一 定 的 问题 。 情 感 科学 也 确实 需要 转变 传统 的 研究 模 
式 ， 然 而 在 目前 的 条 件 下 ， 非 线性 动态 模式 只 能 是 一 个 具有 潜在 价值 的 分 析 工 具 或 者 说 是 未 
来 的 方向 ， 所 以 只 能 从 理论 上 讨论 非 线性 动态 理论 在 情绪 建 模 上 的 可 行 性 ， 提 出 我 们 的 设 


想 
gL o 












































94 人 工 心理 研究 平台 的 建设 





人 工 心理 是 一 个 新 兴 的 研究 领域 ， 需 要 一 个 综合 性 的 理论 仿真 与 技术 研究 平台 ， 目 的 在 
于 把 研究 历程 的 结果 积累 起 来 ， 并 为 后 来 的 人 工 心理 与 人 工 情感 研究 者 提供 以 下 内 容 : 

1) 数学 算法 ; 

2) 软件 仿真 ; 

3) 人 工 心理 数据 库 (色彩 -心理 关系 库 、 表 情 库 、 行 为 库 、 消 费心 理 库 ) ; 

4) 心理 与 行为 数字 化 技术 标准 接口 (人 脸 检 测 模块 接口 一 一 表情 识别 模块 接口 、 人 体 
检测 模块 接口 一 行为 识别 模块 接口 、 多 语言 语音 识别 /合成 模块 接口 、 机 器 视觉 人 脸 / 视 线 
/行为 语言 ) 模块 接口 ; 

5) 服务 对 象 数据 库 ; 

6) 心理 知识 模型 库 ; 

7) 虚拟 人 像 合成 制作 模块 ; 

8) 多 电机 控制 模块 ; 

9) 多 传感器 信息 融合 ; 

10) 网 络 通信 和 与 控制 ; 

11) 多 信息 集成 软件 环境 与 编程 实现 练习 平台 。 
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其 目的 在 于 提供 以 上 诸 方 面 内 容 的 研究 基础 平台 ， 推 动人 工 心理 的 研究 进展 。 这 部 分 是 
人 工 心理 未 来 研究 至 关 重 要 的 内 容 。 下 面 是 平台 建设 中 的 人 工 心理 建 模仿 真 软件 的 部 分 实现 
过 程 。 

该 软件 是 人 工 心理 模型 的 仿真 软件 ， 包 括 了 几 种 模型 : 概率 空间 、 欧 式 空间 、 灰 色 方 
法 、 隐 马 氏 方法 、 纬 度 论 方法 、 模 式 计算 、 神 经 计算 。 其 目的 在 于 积累 人 工 心 理 以 往 的 研究 
结果 ， 并 向 后 来 者 提供 基本 方法 与 仿真 环境 ， 不 再 做 重复 的 工作 。 

开始 是 主 界面 ， 包 括 各 种 模型 选择 ， 然 后 根据 选择 进入 各 个 模型 的 仿真 界面 。 图 9-8 所 
示 为 人 工 心理 仿真 平台 建 模 界面 。 























图 9-8 ”人 工 心理 仿真 平台 建 模 界面 





(1) 概率 空间 界面 ”图 9-9 所 示 为 概率 模型 仿真 界面 。 














图 9-9 ”概率 模型 仿真 界 卫 




















先 要 选择 模型 类 型 ， 自 发 转移 模型 或 刺激 转移 模型 。 

若 选择 自发 转移 模型 ( 见 图 9-10)， 则 需要 输入 的 参数 有 : 初始 状态 概率 (包括 XX 轴 、 
Y 轴 、Z 轴 概 率 ) ，0 参数 。 

确定 后 计算 。 点 击 退出 返回 上 一 界面 。 图 9-11 所 示 为 自发 转移 模型 仿真 曲线 。 
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9-10 ”自发 转移 模型 仿真 界面 

















9-11 自发 转移 模型 仿真 曲线 


若 选 择 刺 激 转 移 模型 ， 则 需要 输入 的 参数 有 7r 值 和 NN 值 ， 确 定 后 计算 。 刺 激 转移 模型 仿 
真 界面 如 图 9-12 所 示 。 

点 击 退 出 返回 上 一 界面 。 

(2) 欧式 空间 方法 仿真 界面 ”如 图 9-13 所 示 。 


RECESS 





图 9-12 ”刺激 转移 模型 仿真 界面 图 9-13 ”欧式 空间 方法 仿真 界面 


需要 输入 的 参数 包括 空间 的 维 数 、 坐 标 刻度 值 敏感 因 子 和 概率 最 小 分 辩 值 。 
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确定 后 计算 ， 输 出 结果 。 点 击 退 出 ， 则 返回 主 界面 。 

(3) 灰色 建 模 方法 界面 ”如 图 9-14 所 示 。 

需要 输入 的 参数 有 情感 生成 数值 、 外 界 
刺激 输入 、 性 格 、 欲 望 需 求 满足 程度 。 

确定 后 计算 ， 输 出 模型 方程 以 及 残 差 分 
析 结 果 。 点 击 退 出 ， 则 返回 主 界面 。 

(4) 隐 马 尔 可 夫 方 法 界面 ”如 图 9-15 
所 示 。 

需要 输入 的 参数 有 初始 状态 、 刺 激 、 状 
态 转移 概率 矩阵 。 

点 击 计算 后 输出 表情 。 点 击 退 出 ， 则 返 
回 主 界面 。 图 9-14 ”灰色 建 模 方法 仿真 界面 

其 他 方法 模型 设计 待定 


ers 

















图 9-15 ” 隐 马 尔 可 夫 方 法 仿真 界面 











以 上 谈 到 了 人 工 心理 研究 中 的 若干 内 容 : 马 斯 洛 人 工 心理 模型 、 机 器 意识 建 模 与 实现 、 
情绪 的 非 线 性 数学 描述 以 及 人 工 心理 研究 平台 。 列 举 以 上 这 些 例子 ， 目 的 是 想 说 明 人 工 心 理 
未 来 需要 研究 的 内 容 ， 当 然 还 有 感情 计算 机 、 人 工 心理 研究 用 编程 计算 语言 等 重要 研究 方向 
需要 人 们 去 研究 。 

人 工 心 理 是 具有 交叉 性 前 沿 科 学 特征 的 研究 领域 ， 其 探索 性 研究 内 容 较 多 ， 适 合 于 原始 
创新 ， 但 其 困难 之 处 也 正在 于 此 ， 尤 其 是 如 何 取得 技术 上 的 创新 与 突破 ， 为 国民 经 济 发 展 和 
人 民生 活 做 出 贡献 。 只 要 着 眼 未 来 ， 贵 在 坚持 ， 培 养 人 才 ， 不 断 努 力 ， 总 有 一 天 ， 人 工 心理 
的 研究 是 会 有 重大 突破 的 。 
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性 化 居住 环境 设计 系统 


| 车 室内 感性 设计 支持 系统 











桂 网 服务 器 应 用 编程 接口 


IUI 
Java3d 
KIPS 
k-NN 
LDC 
LED 
LPC 
MAS 
MEG 
MEI 
MHI 
MIS 
MIT 
MM 
MMN 
Mpeg4 
MSE 
NBIC 
NE 

NN 
NSF 
NURBS 
ODBC 
OLE DB 
OpenGL 
PAN 
PCA 
PDA 
PET 
PN 
PSW 
QBIC 
RBFNN 
RFFD 
RS 
SDA 
SDK 
SeMoA 
SGI 
SHI 
SQL 
SVC 
SVM 





Intelligent User Interaction 








基于 Java 的 用 于 三 维 游戏 编程 的 高 阶 应 用 程序 开发 接口 


Knowledge Information Progressing System 














k-Nearest Neighbour Classifier 
Linear Discriminant Classifier 
Lighting Emitting Diode 

Late Positive Complex 

Multi Agent System 
Magnetoencephalogram 

Motion Energy Images 

Motion History Images 


Management Information System 


Markov Model 

Mismatch Negativity 

Moving Pictures Expert Group 4 
Mean Square Error 
Nano-Bio-Info-Cognition 

Neural Engineering 

Neural Network 


National Science Foundation 





Non-Uniform Rational B-Splines 
Open Database Connectivity 
Object Link Embedded Database 
Open Graphics Library 

Personal Area Network 

Principal Component Analysis 
Personal Digital Assistant 
Positron Emission Tomography 
Processing Negativity 

Positive Slow Wave 


Query By Image Content 


Radial Basis Function Neutral Network 


Rational Free-Form Deformation 
Recommended standard 
Schmelcher-Diakonos Algorithm 
Software Development Kit 

Mobile Agent Server 

Silicon Graphics Incorporated 
Saturation-Hue-Intensity 
Structure Query Language 
Support Vector machine Classifier 


Support Vector Machine 


Massachusettes Institute of Technology 


353 








智能 用 户 界 面 











知识 信息 处 理 系 统 
k 最 近邻 分 类 需 
线性 判别 分 类 器 
发 光 二 极 管 
晚 正 复合 波 

多 智能 体系 统 


运动 能 量 图 像 

运动 历史 图 像 

管理 信息 系统 
(美国 ) 麻 省 理工 学 院 
马尔 可 夫 模 型 
失 匹 配 负 波 
动态 图 像 专家 组 4 























纳米 -生物 -信息 - 认 知 
神经 工程 

神经 网 络 

美国 国家 科学 基金 会 
JESJA H B REAR TH M 
开放 式 数 据 库 互 连 
XY ARE AK A BD FE 
开放 图 形 库 
个 人 局 域 网 
主 元 分 析 法 


















































E 电 子 断 层 扫 摘 
加 工 负 波 
正 慢 波 

基于 图 像 内 容 的 检索 系统 
径 向 基 神 经 网 络 

有 理 自由 变形 技术 
推荐 标准 
比例 共享 式 的 资源 调度 算法 
软件 开发 包 

移动 代理 服务 器 

硅 图 公司 

色 度 、 饱 和 度 、 亮 度 模型 
结构 化 查询 语言 
支持 向 量 机 分 类 器 
支持 向 量 





= 
T 





























mr 
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TTS 
UDA 
UIMS 
VEP 
VFW 
VHDL 


VPP 

VR 
VRML 
VSAM 
W3C 
WIDIAS 


XML 


Text-to-Speech 

Universal Data Access 

User Interface Management System 
Visual Evoked Potentials 

Video for Windows 


Very High Speed Integrated Circuit Hardware Description Language 


Vertex Positive Potential 

Virtual Reality 

Virtual Reality Modeling Language 
Virtual Storage Access Method 
World Wide Web Construction 
Word Image Diagnosis Fuzzy Expert 


Extensible Markup Language 


















































从 文本 到 语音 
统一 数据 访问 

用 户 界 面 管理 系统 
可 视 诱 发 电位 
微软 的 视窗 视频 操作 环境 
超 高 速 集成 电路 硬 
件 描 述 语言 
顶 正 电位 

虚拟 现实 

虚拟 现实 建 模 语言 
虚拟 存储 访问 方法 
万 维 网 联盟 


文字 图 像 感性 诊断 模糊 专家 系 
统 
扩展 性 标识 语言 








竞赛 机 器 人 
双 足 步 机 器 人 
机 器 智能 : 人 工 情感 
机 器 智能 ， 人 脸 工程 


WT ..... d 
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